LLMチューニングのための強化学習：GRPO（Group Relative Policy Optimization）

概要

DeepSeekR1やMathに使われた手法であるGRPOを紹介

その前身であるPPO,及びTRPOの概要を説明

報酬の関連で工夫がある

LLMはユーザの回答に対して報酬が発生する

そういった構造を踏まえた工夫

従来のPPOは訓練対象が二つだったが,こちらは一つ

計算効率と安定性の向上に寄与?

所感

端的に言えば面白そうだった

LLM関連は敷居が高いと勝手に思っていた

実際その通りだとは思う

趣味として始める分には問題なさそう

今回はチューニングに用いるという話だった

モデルを稼働する際にも使えないか?

個々人の回答からパーソナライズ

全体の精度もFLで上げる

システムの構築がしんどそう

できたら面白い

DeepSeekR1はまだ触っていない

できたら触りたい

もう陳腐化しているのだろうか?

流石に大丈夫だと思いたい

拾えた部分

最適化,強化学習の触り

それっぽい単語

拾えなかった部分

数式関連

強化学習とかのコアな話

数理最適化の学習してないのが効いてる

やった方がいい