「あなたは○○です」プロンプト
LLMに「あなたは有能なアシスタントです」とペルソナを設定するプロンプトは役に立たない ──カーネギーメロン大学などの大規模調査 | Ledge.ai
生成AIのプロンプトとしては代表的
効果がない
絶対とは言えないけど誤差の範囲
Persona is a Double-edged Sword: Enhancing the Zero-shot Reasoning by Ensembling the Role-playing and Neutral Prompts
ペルソナ設定は場合によってLLMの推論能力を低下させる可能性がある
15.75%の問題で正答率が向上
13.78%の問題で逆に誤答が増加
微妙な数字
向上する場合がわずかに勝っているけど誤答が増加する可能性も増えるとか博打要素が強い
推論部分と回答部分で役割を変更させるとおもしろい変化が起きるかもしれない
#機会があったら試してみる