コンパクト化
from nnabla
【Deep Learning研修（発展）1】推論最適化のためのコンパクト化技術
https://www.youtube.com/watch?v=rtvu-VBBF6A&list=PLbtqZvaoOVPAfYStzaWQTTZV9Ngq-u6m4
第１回「Introduction」
第２回１「NN基本コンポーネント」
1. Inner product
1. Affine
2. Convolution
3. Attention
2. Normalization
1. Batch Normalization
2. Other Normalizations
3. Pooling
1. Max Pooling
2. Average Pooling
4. Nonlinearity
1. ReLU
第２回２「NN基本アーキテクチャ」
1. Convolution Neural Network (CNN) and Residual Network (ResNet)
2. Transformer
3. MLP
第３回１「基礎：ナイーブ手法」
コンパクト化のテクニックの基本的な手法
https://gyazo.com/5e4accd42414be7823e712f627d81a19
1. Naiveな手法
2. 蒸留
3. チャネルプルーニング
4. レイヤー間, ネットワーク間パラメータシェア
5. 分解,低ランク
6. シフト, シャッフル, ミックス
7. 量子化
8. NAS (Network Architecture Search)
Tips
https://www.youtube.com/watch?v=BFqfgsydJg4&list=PLbtqZvaoOVPAfYStzaWQTTZV9Ngq-u6m4&index=9
発展的な手法
量子化
ABC Net
Distillation x Quantization
Dynamic quantization
WrapNet
動的カーネル生成
Adaptive separable convolution
Dynamic convolution
Attention
Stand-alone self-attention (Local attention)
Kernel method (Linearization and approximation)