SelfCheckGPT
https://scrapbox.io/files/65b0ae4ea31ac7002466beb5.png
スライド
既存のファクトチェックアプローチは、出力確率分布へのアクセス（ChatGPTのようなシステムでは利用できないかもしれない）か、別個の、しばしば複雑なモジュールを介してインターフェースされる外部データベースを必要とする。この研究では、「SelfCheckGPT」を提案します。「SelfCheckGPT」は、シンプルなサンプリングベースのアプローチで、ブラックボックスモデルの応答をゼロリソースで、つまり外部データベースなしでファクトチェックすることができます。SelfCheckGPTは、LLMが与えられた概念に関する知識を持っている場合、サンプリングされた応答は類似している可能性が高く、一貫した事実を含んでいるという単純な考えを活用します。しかし、幻覚のような事実に対しては、確率的にサンプリングされた回答は発散し、互いに矛盾する可能性が高い。我々は、GPT-3を使ってWikiBioデータセットから個人に関する文章を生成し、生成された文章の事実性を手動で注釈を付けることで、このアプローチを調査する。我々は、SelfCheckGPTが、i) 事実でない文章と事実である文章を検出し、ii) 事実性の観点から文章をランク付けできることを実証する。我々のアプローチをいくつかのベースラインと比較し、我々のアプローチがグレーボックス手法と比較して、文レベルの幻覚検出においてかなり高いAUC-PRスコアを、パッセージレベルの事実性評価において高い相関スコアを持つことを示す。
https://scrapbox.io/files/65b0ae03d09a6800249622b2.png