ChatGPT
https://gyazo.com/51fafa62eb8aa3a65711c3a0cd953657
OpenAi によるLLMサービス
GPT-3 は1750億パラメータ
この時点で研究者間ではかなり話題になっていた
スケールさせることで精度がどんどん上がる
従来の統計の常識では、データを増やしすぎると精度が下がる
トランスフォーマーと自己教師あり学習を使うことでスケールするようになった
学習ステップ
Step1. 教師あり学習
ファインチューニングを行う
Step2. 報酬モデルの学習
アノテーターが良い回答例を評価する
Step3. 強化学習
大量のデータで繰り返す