LLMの限界的な話

さてLLMが何かと申しますと次単語予測モデルに過ぎないわけですが、どうして次単語予測モデルがあたかも自分で考えてるかのように振る舞うのでしょうか。この点は現在の所未解明とされてます。相転移と呼ばれたり創発と呼ばれたりなんかもしてますね。

そのため、LLMにも欠点があります。知ったかぶりをするというのはよく知られた欠点の一つですが、他にも

推論に弱い

長文の中で一貫性を保つのが苦手

出力に一貫性が欠ける

文脈への過度な依存（急な話題変化が苦手）

といった特徴もあわせもっています。

これらの欠点もいつの日にか人類は克服する日が来るのでしょう。それが２～３年先なのか、10年先なのか、はたまた100年かかるのかは今の段階では誰にも予測ができません。

例を示しましょう

「サザエさんのイクラちゃんとタラちゃんの関係は？」

正解ははとこなのですが、AIは正解を導けたでしょうか。

また次のように聞いてみましょう

「エニアグラムを日本に紹介したのは河合隼雄ですか」

これは明確にNOと言えますが、LLMはこう答えてます。

厳密な話をすると今は自然言語を生成するだけじゃなくてo1previwみたいな推論を行うモデルもあるわけですが。

LLMでアプリを作った感想としてはまだまだ丸投げはできないなという所でした。

ちょっと大きなプログラム

書かせると破綻するんですよね。

だからキャッチコピーで言われるような「素人でもアプリ開発ができる」というのはまだまだ先のように思います。と、こんな風に油断してるとアルファ碁のときみたいに度肝を抜かれる自体が発生しかねないわけなんですけどね。

創発

違い：次単語予測は「確率」を扱う

ボードゲームAI：

Minimaxは「決定論的」（つまり、特定の手を選ぶと、その後の結果が完全に計算可能）です。

例えば、将棋では「この手を打てば相手がこう動き、最終的にこの結果になる」という因果関係が計算可能です。

自然言語AI：

自然言語は不確実性が高く、完全に決定論的ではありません。

例：「I went to the bank」の次に来る単語を予測する場合、「to withdraw money」や「to sit by the river」など、複数の妥当な選択肢があります。

次単語予測は、この不確実性を扱うために「確率分布」を生成します。この分布がモデルの柔軟性を生み出し、文脈に応じた多様な応答を可能にしています。

https://gyazo.com/1c0506545ade177f28a970436eb61526

https://gyazo.com/c088d442305883ab8d5c7f9ffa937b98