Claimify

https://www.microsoft.com/en-us/research/blog/claimify-extracting-high-quality-claims-from-language-model-outputs/Claimify: Extracting high-quality claims from language model outputs

LLMが生成したテキストのファクトチェックにおいて一般的な戦略のひとつがクレーム抽出（Claim Extraction）です。特に複雑で詳細な内容を含む出力の場合、一度に全文を評価するのではなく、検証可能な単純な事実に分解し、それぞれを独立して確認する方法が用いられます。しかし、このアプローチの有効性は抽出されたクレームの品質に依存します。不正確であったり、不完全なクレームが含まれている場合、ファクトチェックの結果が損なわれる可能性があります。

私たちの論文「Towards Effective Extraction and Evaluation of Factual Claims（効果的な事実クレームの抽出と評価に向けて）」では、クレーム抽出の評価手法を提案するとともに、既存の方法を凌駕する新しいLLMベースの手法であるClaimifyを紹介しています。