Transformer2

https://gyazo.com/9d04fa694e86a89d4451747a4e8efe93

モデルがタスクに応じて重みを動的に調整し、最適な結果を生成

Transformer²は、さまざまなタスク(数学、コーディング、推論、視覚的理解など)で大幅な進歩を示しており、LoRAのような従来の静的アプローチよりも効率とタスク固有のパフォーマンスを上回り、必要なパラメータがはるかに少なくて済みます。