過学習からの汎化
全文は以下の通り
１年前にOpenAIが発表した論文の話。シンプルなニューラルネットで実験してて、最適な学習量を超えて、過学習に突入してもまだずーっと学習させてたら、ある時期から急速に汎化が起きるグロッキングという現象が発見されたという話。過学習ってのは問題と答えを暗記してるだけの状態だけど、汎化ってのは問題の意味を理解してるからデータセットに無いパターンの問題でも応用で答えられる状態。つまり延々と詰め込み学習を続けてたらある瞬間に急に「全部理解したわ」とか言い出した感じ →RT https://arxiv.org/abs/2201.02177