LLaMa2
@goto_yuta_: 今更ながら、LLaMA2の論文が神大作で学習価値が高すぎる。
RLHFに利用してるデータの中身とか、安全性を高めるためのRLHFの前後で出力がどう変化するとか書いてて、とにかくRLHFについて超詳しい。
https://pbs.twimg.com/media/F2Fd7UraEAADBjS.pnghttps://pbs.twimg.com/media/F2Fd7Upa8AAKM-8.jpg
@goto_yuta_: Open LLM LeaderboardにあるLLaMA2のfine-tuningしたモデルのスコアが70.6で、GPT3.5の70に勝利した。
オープンモデル史に残る快挙！