モメンタム - main-custard

モメンタム

? momentum

慣性のことみたい. 力が加わるとその方向に動き続ける, といった感じ

機械学習におけるモメンタムは, 局所最適解 (鞍点) に陥らないために用いられる?

確率的勾配降下法の特殊な手法らしい

cf. What is momentum in neural network?

>後で深層学習青本と論文を確認

局所最適解で留まることなく通り過ぎ, より良い最適解を見つけるのに役立つ

大きすぎると困る. 収束が遅れるのかな. どうだっけ