深層ニューラルネットワークの高速化
損失関数の平坦解と先鋭解についてすごく分かりやすい
- パラメータがずれても解が変化しづらく,データに対して余裕のある分類境界を引いているのでデータの摂動に強い
- 記憶している情報が少なく,普遍的なことを学習,汎化しやすい(理論的にも示せる)
- 多少のずれがあっても精度が落ちないため,パラメータを量子化するような高速化を行なっても影響を受けにくい
https://scrapbox.io/files/66e1b7b70864f2001c2d977d.png
ちょっとずれても解に近いので変更にロバスト、汎化しやすい、高速化しやすい