Example Contamination
あるいは Example Leakage
プロンプト中の FewShot の例がそのまま出力に含まれてしまう
Task Contamination と言っていることもある?
これは学習データに類似のタスクがあるのでは的な話でもおきる
あんまり決定的な対処がない?
なるべく例は全然関係ないものにする
例であることを明示する
事後的に取り除く
Few-shot examples "leaking" into responses in Q&A system - Prompting - OpenAI Developer Forum
Few-Shot Examples “Leaking” Into GPT-3.5 Responses – Anyone Else Encountered This? : r/AIQuality
OpenAI copies my examples in few shot learning - Prompting - OpenAI Developer Forum
#LLM