Is In-Context Learning Learning?

12 Sep 2025

インコンテキストラーニング（ICL）だけで未学習の知識を扱うことが難しいことを示した論文

大規模言語モデル（LLM）が追加のトレーニングなしにタスクを解決する能力であるIn-Context Learning (ICL)が、厳密な意味で「学習」に該当するのかという根本的な問いを探求しています。研究者らは、ICLが数学的には学習の範疇に入ると論じつつ、その実態を明らかにするために大規模な実証分析を実施しました。実験では、プロンプトのスタイル、言語的な特徴、およびデータ分布の変動（OOD：Out-of-Distributionシフト）の影響を系統的に評価し、ICLが効果的な学習パラダイムである一方で、汎化能力に限界があることを発見しました。特に、LLMの精度は提供される例（エグゼンプラー）の数が増えると向上し、プロンプトの文言よりもプロンプト内の統計的な特徴に過度に依存する傾向があるため、タスク間のパフォーマンスが一貫せず、分布外データに対して脆弱になるという結論を導いています。

by NotebookLM

本論文は、ICL（インコンテキスト学習）を「学習パラダイム」として大規模かつ体系的に検証するという新たなアプローチを提供しつつ、その検証を通じて、既存の研究で示唆されていたLLMの推論能力に関する限界（特に分布シフトに対する脆弱性やCoTの限界）を、ICLの文脈においてより厳密かつ大規模に確認した成果であると言えます。

先行する3つの論文が、特定の推論モデル（LRM）やCoTのメカニズムが、問題の複雑さ（Apple論文）やデータ分布の変化（アリゾナ州立大学論文）、「退屈さ」（DeepMind論文）によっていかに失敗するかを分析しているのに対し、本論文はICLのプロンプト内におけるエグザンプラ数や形式を極限まで操作し、ICLが形式的に学習を構成するか、そしてそのメカニズムが、いかなるLLMやプロンプトスタイルにおいても、自己回帰によって引き起こされる統計的パターンマッチングに帰結するのかどうかを、大規模な実験を通じて追求しています。

by NotebookLM

1. 新たな発見・独自の視点の提供

ICLの学習パラダイムとしての体系化と大規模検証

本論文は、ICLが数学的には学習を構成すると主張しつつ、その完全な特徴付けにはさらなる実証的な研究が必要であると指摘しました。そして、ICLを特定のタスク解決能力としてではなく、学習パラダイムとして実証的に探求した初めての試みの一つであると位置づけられています。

既存の批判（再現性の難しさ、用語の信頼性の低さなど）を考慮し、事前学習、記憶、分布シフト、プロンプトのスタイルとフレーズへの依存性をアブレーション（除去）する大規模な分析（テストした4つのLLMに対し、合計189万件の予測）を行いました。このような大規模かつ体系的な実験デザインは、ICLの評価において新しい取り組みです。

エグザンプラ数（ショット数）に関する知見

従来のICLの議論では、少数のエグザンプラ（ショット）でタスクが解決できるという通説がありましたが、本論文は、最高の平均性能は50〜100のエグザンプラによって得られたことを示し、この通念に反論しています。

精度が言語的特徴に依存しない現象

システムプロンプトの自然言語をランダムな単語に置き換える（ワードサラダ）や、CoTをランダム化（SoT）した場合でも、精度がベースラインに匹敵するか、または上回ることがあり、自己回帰がデータの特徴と語彙的な関係を区別できる可能性を示唆しています。

最終的に、エグザンプラの数が増える「限界」において、平均的な精度のギャップがテストしたLLM間およびすべてのプロンプト戦略間で縮小することを示し、ICLが特定のLLMやプロンプトのスタイルではなく、自己回帰パラダイム自体に結びついた学習である可能性を示唆しています。

2. 仮説のより厳密な確認（既存の限界の検証）

本論文は、ICLという枠組みを通じて、他の同時期の論文（Apple論文、アリゾナ州立大学論文）がCoTや推論モデルについて示唆していた限界を、異なる切り口から厳密に確認・裏付けています。

分布外（OOD）データに対する脆弱性の確認

CoT/APOのOODに対する脆さの強調: 本論文では、ICLが訓練（エグザンプラ）分布（P）からテスト分布（Q）へのOODシフトに対して脆いことを示しました。特に、Chain-of-Thought (CoT) や Automated Prompt Optimisation (APO) といった高度なプロンプト戦略がOODに対して最も敏感（脆弱）であることを発見しました（CoTの平均勾配は-1.4で最も大きい）。

これは、同時期のアリゾナ州立大学論文が、CoT推論が訓練データの統計的規則性を補間・外挿するパターンマッチングであり、分布シフトによって性能が大幅に低下する「脆い蜃気楼」であると結論付けた知見 と一致しています。

複雑さの限界とタスク間での不一致の確認

タスク間の汎化の限界: 形式言語理論で密接に関連付けられているタスク（例：FSAで認識可能なタスクとPDAで認識可能なタスク）の間で、平均精度に最大31%もの大きなギャップが存在するという矛盾を発見しました。

これは、LLMの推論能力が、タスクの形式的な複雑さや学習データの特徴の分布に限定され、汎用的な汎化能力が限定されていることを示唆しています。

これは、Apple論文が、LRMが特定の複雑さの閾値を超えると精度の完全な崩壊に直面し、汎化可能な問題解決能力を開発できていないことを示した結果 と、方向性としては一致しています。

「考えすぎ」現象の確認

本論文の分析から、ICLもまた、学習された分布（P）に対してバイアスがかかり、OODの脆さにつながることが示唆されました。

これは、DeepMind論文が、単純化された（Unpuzzles）タスクに対してLLMが元の（難しい）パズルの解法を誤って再利用する「推論デリリウム」（考えすぎ現象）を起こすことを示した発見 と同様のメカニズムを示唆しています。本論文では、CoTとAPOがより脆いという結果が、これらの戦略が観察された分布に学習者を偏らせるという考えを裏付けています。

まとめ

『Is In-Context Learning Learning?』は、「ICLは学習なのか」という根本的な問いを立て、ICLのメカニズムをプロンプト、エグザンプラ、分布という点で体系的に分離（アブレーション）し、大規模な実験で実証したという点で、既存の推論研究にはなかった新たな視点と手法を提供しました。

一方で、その結果として得られた知見の多く（OODに対する脆弱性、特定のタスクでの崩壊、CoTの限界など）は、同時期にAppleやアリゾナ州立大学、DeepMindの研究者たちが、推論モデル（LRM）やCoTの限界を指摘した研究を、ICLという学習パラダイムの文脈から裏付け、厳密に確認したものと言えます。