SparseGPT
我々は、大規模な生成前訓練変換器(GPT)ファミリーモデルを、再トレーニングなしで、精度の損失を最小限に抑えながら、ワンショットで少なくとも50%のスパース性に刈り込めることを初めて示す。これは、SparseGPTと呼ばれる新しい刈り込み手法によって実現され、特に大規模なGPTファミリーのモデルに対して効率的かつ正確に動作するように設計されています。OPT-175BとBLOOM-176Bというオープンソースの最大規模のモデルでSparseGPTを実行したところ、無視できるほどの複雑さの増加で60%のスパース性に達することができました。SparseGPTは、半構造化（2：4、4：8）パターンに一般化し、重みの量子化アプローチと互換性がある。