データを増やすとある量で精度が急激に改善
データを増やすとある量で精度が急激に改善
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
まじか、とみんな思った。
4/n
https://gyazo.com/b3c4fe78f4a4169d38f2f6ca2f487292
この特異点はどう説明されるのだろう
面白いsta.icon
データやタスクの複雑性に応じて、最低限必要なモデルの規模やトレーニング量があるとか？yosider.icon
そのラインの前後で何が変わるのか調べないと、結局わからないか
説明は今いろいろな人が試みてて結論は出てないと思うけど、ざっくりいうと、以前は中くらいの規模のネットワークで「うまく学習させるにはこういう工夫が必要〜これで少し精度がアップしたよ」「大きくしたらもっと難しくなるしコストも掛かるよね」的な感じだったのだが、思い切ってすごくデカくしたら意外なことに学習がスムーズになったnishio.icon
不思議だなぁ基素.icon
ネットワークが大きくなると、その部分ネットワークとして有益な初期値のネットワークがある確率が高くなり、ネットワークが大きくなることによるデメリットよりも、良い初期値からスタートすることによる学習の安定性のメリットの方が大きくなる的な説明を見たnishio.icon
なるほど基素.icon
重みが重要なんじゃなくてネットワークの形が重要なんだって話を何処かで見た記憶Summer498.icon
最初に大量のリンクがある状態から徐々に要らないリンクが消えていって最終的に最適なネットワークができる
その時に生き残ったリンクの重みを変えても別に精度は変わらない
だから巨大なネットワークで学習させるといい感じの形のネットワークが残りやすい、みたいな
宝くじ仮説を誤読してただけな気がしてきたSummer498.icon