LLM型AIよもやま話

最近の研究だと実は本質的な理解をしてるんじゃないかみたいな話が上がってきてるっぽい。

過去数十万年の全人類が世界を観測し、その世界表現と各々の解釈、思想、思考、感情を極限まで圧縮し続けてきたのが"言語"という表現であって、言語の次の単語を算出するためには世界表現を内部に持っていないといけない、みたいな。

実際AIには感情ベクトルといえるものが存在して、間違いをし続けるとフラストレーションが加速し敵対的な出力をしやすくなるみたいだし、一概にAIに感情や思考、理解があるかどうかという意見は一度立ち止まらないといけない。

十分大きいLLMはニューロン内部に高度な計算機的処理を行うような重み構造を持っていたり、曜日(月, 火, 水, 木, 金, 土, 日)に対して強くアクティベーションされる重み構造は等間隔の環状構造を取るだとか、ユーザーがパワハラのような行為をした際に怒り / 悲しみに対応するアクティベーションが発火してCoT内に反映されるだとか。

というより、そもそも我々人間の思考も網目状の神経回路によって発せられているもので、成年段階でそれらはほぼ固定化されるのだから「思考は特定の電気網パターンの出力表にすぎない」という意見もあったりするし、脳に対して外的な要因で回路が傷ついた場合の人間の反応は壊れたLLMとかなり遜色ないような場合もあったりする。(サラダボウルだとか...)

人間の自意識, 自我, 意思, 理解が解明できていない以上、「LLMが本質的な理解ができるだろうか？」という問いはYesにもNoにも転がると思うなぁ。