9fc872a2a6e4011

http://nhiro.org.s3.amazonaws.com/e/7/e75365aacf66bf828d298ae69ce8c44f.jpg https://gyazo.com/e75365aacf66bf828d298ae69ce8c44f

(OCR text)

12

モメンタム

アイデア「慣性を付けたらいいんじゃない?」

1.現在位置x,での勾配g(xt)に学習率を掛ける

2.前回の更新量に0.9ぐらいの減衰率を掛ける

3. 両方使って位置を更新

Xt+1 = xt + Y(xt- xt-1)-ng (xt)

Xt-1)-ng(xt)

__