創発について

モデルと学習量が大きくなると、大規模言語モデルが複雑なタスクをこなせるようになることは、Googleの研究者によって偶然発見されました。専門的には創発能力だとか、創発と呼ばれます。ちなみに創発というのは、複雑系科学でよく使われる用語で、小さい単純な系が沢山あつまると、集団として小さい系からは予想できない動きが出てくる現象のことを指します。

規模が大きくなると、開発者でさえ意図してなかった動きが観察された。この報告を最初に行ったのはgoogleで、それは創発能力と呼ばれた。しかしながらLLMはあくまで言語モデルであり、言語モデルに由来する弱点も併せ持っている（長文の中での一貫性の確保の難しさなど）

LLM(大規模言語モデル)の研究で研究者が偶然に発見したのはモデルおよび学習量が一定量を超えると小さいモデルからは予想できなかった能力が発現することだった。これは決して私の妄想ではない。きちんと論文もある。2022年の1月にGoogleから発表された。

https://gyazo.com/c5c6ce3ae0eeaef0c64ba0402d075b17