AIの回答を評価して改善する手段を提供する

理想とのミスマッチがどうしても出てしまうので、フィードバックループが大事。

例えば、ユーザーにどれくらい満足したかを、KPIとして計測させたり、AIに自己評価させたり。

そのスコアを高められるように、プロンプトや参照データなどを調整させる。

code: プロンプト

生成した〇〇をもっと良いものになるように、3回改善を繰り返しなから自分でブラッシュアップして下さい。

また、改善するたびに以下の{採点基準}で自己評価で点数を教えて下さい（100点満点）。

＃採点基準：

プラス評価

- 想定ターゲットにとって面白い内容になっている

- スピーカーの得意領域を加味した内容になっている

- イベントの趣旨に合っている

マイナス評価

- 表層的な内容に留まっている

- 抽象的過ぎる

上記では、ChatGPT自身に自分の回答を、採点基準の観点に基づいて採点しながらブラッシュアップするように指示することができる。

2024年6月追記

パワハラプロンプトなるものが、話題となった。

code: プロンプト

では、この出力を60点とします。これを60点とした時に100点とはどのようなものですか？ 100点にするために足りないものを列挙した後に、100点の答えを生成してください