Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens
URL：https://arxiv.org/abs/2508.01191
2 Aug 2025
LLMにおけるChain-of-Thought（CoT）推論の性質をデータ分布の観点から批判的に検証し、CoT推論が本物の論理的推論ではなく、学習されたパターンマッチングの高度な形式である「脆い蜃気楼」であると結論付けました。「DataAlchemy」という制御された環境を導入し、LLMをゼロから訓練して、タスク汎化、長さ汎化、フォーマット汎化という3つの側面からCoT推論の能力を系統的に調査しました。その結果、CoT推論は訓練データの分布から少し外れるだけで性能が大幅に低下することが一貫して示され、特に、訓練時と異なる推論チェーンの長さやフォーマットの変化に非常に敏感であることが明らかになりました。この研究は、CoTは学習データに制約されるパターンマッチングであり、実務家は過度な依存を避け、OOD（分布外）テストを優先し、ファインチューニングを「一時的な修正」と認識すべきであると提言しています。本論文は、CoT推論がより複雑なタスクで首尾一貫しない解決策を頻繁に生成し、一貫した推論パスをたどれないという点で脆弱性を示すことを、Apple論文 (Shojaee et al., 2025) を引用して説明しています。
by NotebookLM