LLMは「思考」をしているのか問題

自分はしてない派

なんだけど、その理由をちょっと書いておこうと思う

まずLLMが文章を生成するまでのプロセスの根幹にあるものは、「ある文章（厳密にはトークン）の次に続く確率が高いトークンを出力する」ということにある（と理解している）。

ということは、あくまで出力結果はある文脈から見たらそうなる確率が高い、というものであって、必ずしも同じ出力が得られるわけではない。

実際に同じプロンプトを与えたとて出力が全く同じというケースは少ない（とはいえ今主流なLLMといえばAPI経由だったりSaaSの形態をしていたりするので、APIを叩くときのパラメータによるが）。

人間がある事象について思考するとき、具体的な事象については同じ文脈であれば同じ返答をするものだと思う。特に確証はないが、例えば考えが変わった、みたいなことは何かしら他のインプットがあって文脈が変わってることが往々にしてある。

しかしLLMは、あくまで確率に基づいて出力するので、同じ文脈でも出力が変わる可能性がある、と自分の理解の上では言える。

故に人間のする思考はLLMが行っている「思考」と呼ばれているものとは別物じゃないか、と思う。

知らんけど