9fc872a2a6e4024

http://nhiro.org.s3.amazonaws.com/e/2/e2648e191ad7b3eb9925dcc6e2da3bcc.jpg https://gyazo.com/e2648e191ad7b3eb9925dcc6e2da3bcc

(OCR text)

25

Adam

adaptive moment estimation

勾配の1乗を溜めこむモメンタム

勾配の2乗を溜めこむAdagrad

これって要するに1次と2次のモーメント推定

じゃないか!というのがAdamのアイデア

ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION