LIMA
https://arxiv.org/abs/2305.11206
LIMA: Less Is More for Alignment
LLaMA-65B
を1000のプロンプトと応答のペアだけでファインチューニングした
他モデルとの性能比較
https://gyazo.com/110c4d19910128f96571d7895969f5d0
text-davinci-003
と同等かそれ以上
これらの結果は、大規模言語モデルのほぼすべての知識が事前学習中に学習され、モデルが高品質な出力を生成するためには限られた指示調整データ(
instruction tuning data
)だけが必要であることを強く示唆しています。