9fc872a2a6e4011
http://nhiro.org.s3.amazonaws.com/e/7/e75365aacf66bf828d298ae69ce8c44f.jpg https://gyazo.com/e75365aacf66bf828d298ae69ce8c44f
(OCR text)
12
モメンタム
アイデア「慣性を付けたらいいんじゃない?」
1.現在位置x,での勾配g(xt)に学習率を掛ける
2.前回の更新量に0.9ぐらいの減衰率を掛ける
3. 両方使って位置を更新
Xt+1 = xt + Y(xt- xt-1)-ng (xt)
Xt-1)-ng(xt)
__