9fc872a2a6e4012

http://nhiro.org.s3.amazonaws.com/8/d/8d5527f591391cf18685894af360704e.jpg https://gyazo.com/8d5527f591391cf18685894af360704e

(OCR text)

13

Nesterov accelerated gradient

アイデア「一歩先の地点の勾配を使おう」

上:モメンタム

下:NAG

青矢印が

久t+での勾配

矢印根元

図の簡略化のため

学習率や減衰率は

1にした