AIに学習させ続けてたら急に精度が進化する
（相転移という比喩は俺には合わないので表題変更 2023/09/12sta.icon）
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
4/n
https://pbs.twimg.com/media/FnmrAg6aAAEsXGm.jpg
この急激なAIの進化は他のところでも観測されており、
例えば「質問の仕方を変えればAIのアウトプットが圧倒的によくなる」という現象も、ある一定の計算量がなければ起こらない
5/n
https://pbs.twimg.com/media/FnmrA79aIAEFuY1.jpg
なぜこんな転換点が存在するのか。
実は人類がこのような現象に出会ったのは初めてではない。
これこそが物理学においてこの１００年間研究されてきた「相転移」という現象なのだ。 6/n
ネットワークが大きくなると、その部分ネットワークとして有益な初期値のネットワークがある確率が高くなり、ネットワークが大きくなることによるデメリットよりも、良い初期値からスタートすることによる学習の安定性のメリットの方が大きくなる的な説明を見たnishio.icon
有益も含めて割と何でも偏る（局所性がある）のが世の常だが、データ量増やしまくればその「有益な局所部分」が増えていくってことなんだろうかsta.icon 従来人手ではそんな規模は無理だったし、コンピュータにしてもそこまでデータ増やすモチベもなかったが、AIによって突破できた
これも？sta.icon
１年前にOpenAIが発表した論文の話。シンプルなニューラルネットで実験してて、最適な学習量を超えて、過学習に突入してもまだずーっと学習させてたら、ある時期から急速に汎化が起きるグロッキングという現象が発見されたという話。過学習ってのは問題と答えを暗記してるだけの状態だけど、汎化ってのは問題の意味を理解してるからデータセットに無いパターンの問題でも応用で答えられる状態。つまり延々と詰め込み学習を続けてたらある瞬間に急に「全部理解したわ」とか言い出した感じ https://twitter.com/umiyuki_ai/status/1632563339011461121 なんでそうなるかはわかんねーけど、観測できたんだからいいじゃなーい、と
実際論文も書ける