MATFORMER
https://arxiv.org/abs/2310.07707
MatFormer: Nested Transformer for Elastic Inference
MatFormerは、
Transformer
のFFNブロックにネストされたサブ構造を導入し、複数の粒度のサブモデルを同時に最適化するアーキテクチャです。
MatFormerは、一つのユニバーサルモデルから、様々なサイズや精度のサブモデルを追加の学習コストなしに抽出できます。
https://gyazo.com/1229374897f9bb5e75bc17f11aefdd5f
#Google