AIの弱点は外挿

内挿 測った範囲の内側で補完する

合理的な思考は、たとえ考えうる限りの電子計算機の助けを借りたとしても、未来を予測することはできない。合理的思考にできるのは、現在現れている確率空間と、無限にある可能な状態の一つが実現する明日には異なっている確率空間の地図を描くことだけである。技術的、社会的な発明によって、この確率空間は常に広がっている。

GPT-4.icon

大規模言語モデル（LLM）は外挿に弱いとされることがあります。これは主に以下の理由によるものです：

訓練データの範囲外の新しいシナリオや未知の問題に遭遇した場合、LLMは適切な応答を生成するのが難しいです。

モデルは訓練データに基づいてパターンを学習するため、それに含まれない種類の問題やシナリオでは正確な予測や推論ができないことがあります。

既知の情報に基づいて推測することは得意ですが、新しい概念や情報を組み合わせて新しいシナリオを作り出すことは困難です。

このため、LLMは既存の知識や情報を再構成し、応用するのには強いですが、全く新しい問題解決や創造的な発想を要求される場面では挑戦が伴います。

本当に新しいことより新結合の方が圧倒的に多いはずなので