RLAIF
https://gyazo.com/934c6481486b63781a26c6ecff40c73f
Reinforcement Learning from AI Feedback
https://www.assemblyai.com/blog/rlhf-vs-rlaif-for-language-model-alignment/RLHF vs RLAIF for language model alignment
https://gyazo.com/ea94656fcc3a0a2fb5d39b0fc62ee037
RLHFの人間が担う部分をAIモデルに置き換えたもの
AIモデルは「憲法」を参考に👍/👎を決める
この場合、憲法とは、モデルが従うべき原則と、出力を望ましいものにする資質を自然言語で明確に定義した原則の集合である。
RLAIFとConstitution AI
両方とも同じ論文で提案され、お互いに絡み合っている
Constitutional AIとは、AIアシスタントが訓練プロセスにおいてどのように振る舞うべきかという明示的な原則を訓練プロセスに組み込む概念である。
RLHF vs RLAIF(+ Constitution AI)
https://gyazo.com/bb8f41e27cd72093623a5ae47af979f7
基本的に有用性(X軸)と無害性(Y軸)ともにRLAIFのほうが優れている
なぜか？
RLHFは大抵20人程度で行われるが、20人の理念信条好みが実際に使う大多数のユーザーにとっても同様とは限らない
RFAIFは憲法となるデータセットを作れば良く、これはある種の民主的プロセスによって作成することができる
つまり、モデルを作成する少数のAI研究者／プログラマーや、RLHFのフィードバックを提供する少数の人々ではなく、これらのAIモデルやその振る舞いによって影響を受ける可能性のあるすべての人々が、これらのモデルがどのように振る舞うべきかを決定する会話に参加できる可能性があるということだ。
このブログ、GPT-1からRLHFまでの流れがざっくりわかりやすく読めるのでオススメnomadoor.icon
プロンプトエンジニアリングの本質？が分かった気がした