まとめ
如何でしたか？
これまで見て来たように、大規模言語モデルはあくまで次単語予測モデルに過ぎないのに、複雑なタスクを難なくこなすようにまでなりました。
来年でChatGPTが３年目になります。
これは私が２年かけてLLMを使い倒してようやく見えてきた風景なのですが、それまでAIというのはおそ松さんAIに見て来たように学習されたデータセット内でのタスクをこなすのが得意なのだと思われてきました。ところがGoogleから出た創発に関する論文、ひいてはChatGPTがその常識を覆してしまいました。 変化は思わぬところからやってきます。このときは言語モデルがものすごいブレークスルーをした、というので盛り上がりました。
LLMをもってして今は第四次AIブームだ、という見方もあります（第三次ブームはディープラーニングの頃）。
この記事で一番伝えたかったこと。それは開発者も思いもよらない挙動をしたということでした。こんなこといったらSFファンに叱られるかもしれません。でも、あえていいます。今、SFより面白いことが起きてるんですよ。
前回の記事の最初にGoogleのエンジニアが、AIが感情を持ったと騒いだことでGoogleから追放された話をしました。そのとき何が起きてたのでしょうか。これは推測に過ぎないのですが、創発能力という人類の未知の領域に触れて、AIに意識が宿ったと勘違いしたのかもしれません。
でも大規模言語モデルにも限界があることも見てきました。個人的にはプログラマーの仕事はまだまだなくならないんじゃないかなと感じています。→LLMの限界的な話 また、前回アルファ碁で見て来たように、次は何処でブレークスルーが起こるのか全く予測出来ない世界に我々はいます。偶然的に発見された創発能力ですか、いつの日にかそのメカニズムが解明された暁には、より高度なAIが誕生するかもしれません。そう考えると日々のAIの進歩からは目が離せません。
大規模言語モデルははじめに紹介したように、あくまで次単語予測モデルに過ぎないのでした。そのため、長文の中で一貫性を保つだとか、推論能力に関しては限界があります。AIがハルシネーションを起こすというのはよく知られた事実です。
LLMの何がすごいってこれらはあくまで次単語予測モデルにすぎないのに学習されてないタスクまで（たとえば要約とか翻訳か）をこなすことなんですよね。これは専門的には副次的なタスクと呼びます。この副次的なタスクはLLMがある規模を超えると（規模のことを専門的にはパラメーター数といったりしますがここでは学習量なんかも含む概念としておきます）この副次的なタスクをこなす能力が格段に上がることがわかってきた。専門的にはこの現象を創発と呼びます。これとはまた別にべき乗則ってのがあるんですがこれはまた違う概念です。LLMのすごさってのはそれまでのAIが、人間が教えたことしかできなかったのに、LLMはあたかも意思を持ってるかのように与えられたタスクを実行する能力があります。LLMとか今どきのAIの凄さの本質ってのはここらへんにあるんではないかと思うわけです。
たとえばgoogleの研究者がLLMと会話して意識が芽生えたんじゃないかと騒ぎ、後にgoogleを追い出されるという事件がありました。その出来事もこのLLMの凄さの裏返しと考えれば理解できます。
今のLLMに限界みたいなものを感じることがあります。それは思考はあくまで付随的なもので、あくまでLLMは次単語予測モデルに過ぎないことから来てるのでしょう。その欠点がまた次のブレークスルーに繋がっていくはずです。
また、アルファ碁みたいに知らないところでブレークスルーが起きてるかもしれません。偶然的に発見された創発能力ですか、いつの日にかそのメカニズムが解明された暁にはより高度なAIが誕生するかもしれません。そう考えると日々のAIの進歩からは目が離せません。