Self-Consistency論文
https://scrapbox.io/files/6582fc51ef2eba0023e12364.png
論文情報
タイトル：Self-Consistency Improves Chain of Thought Reasoning in Language Models
著者：Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed H. Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
所属：Google Research
URL：https://arxiv.org/pdf/2203.11171.pdf
#AI-論文
論文の内容を簡単に
概要 (Abstract)
- 本論文では、大規模な言語モデルにおけるCoT (Chain-of-Thought)推論を改善するための新しいデコード戦略「自己一貫性(self-consistency)」を提案。
- 自己一貫性は、多様な推論経路をサンプリングし、その中から最も一貫した答えを選ぶことにより、従来の貪欲なデコーディング戦略を置き換える。
- 実験では、この方法が複数の算数および常識推論ベンチマークで顕著なパフォーマンス向上を示すことを確認。
導入 (Introduction)
- 言語モデルは多くのNLPタスクで成功を収めているが、複雑な推論タスクでは限界がある。
- 既存の「CoT (Chain-of-Thought)」推論手法では、直接的な答えではなく、推論過程を一連の短文で生成することでパフォーマンスが向上することが示されている。
- 本研究では、このアプローチをさらに進化させ、自己一貫性という新しいデコード戦略を提案し、推論の精度を向上させる。
https://scrapbox.io/files/6582f95bce09e00024ee18a2.png
自己一貫性について (Self-Consistency over Diverse Reasoning Paths)
- 自己一貫性は、複数の異なる推論経路が同じ正解に至ることを利用する。
- 言語モデルから複数の推論経路をサンプリングし、その中で最も一貫した答えを選択する方法。
- このアプローチは、推論タスクにおいて人間が異なる思考方法を持つことに似ている。
実験 (Experiments)
- 様々な言語モデルを用いて、算数推論タスクや常識推論タスクにおいて自己一貫性の効果を検証。
- 実験の結果、自己一貫性は従来のCoT (Chain-of-Thought)推論に比べて、複数のベンチマークで顕著なパフォーマンス向上を示した。
https://scrapbox.io/files/6582fc304e51be0023d88403.png
関連研究 (Related Work)
- 従来の言語モデルにおける推論処理の限界と、その改善に関する研究を概説。
- 自己一貫性アプローチがこれまでの手法とどのように異なるかを説明。
結論と議論 (Conclusion and Discussion)
- 自己一貫性は、様々な言語モデルにおいて推論タスクの精度を大幅に向上させる。
- この方法は、理由付けを伴う推論タスクの実行や、言語モデルの出力の校正にも有用。
- ただし、より多くの計算コストがかかるという制限がある。