9fc872a2a6e4013

http://nhiro.org.s3.amazonaws.com/f/1/f1a1f95b4b8a26fbb7ca57accf7d4231.jpg https://gyazo.com/f1a1f95b4b8a26fbb7ca57accf7d4231

(OCR text)

14

Nesterov accelerated gradient

数式的には V= y(xt-Xt-1)として

モメンタム

Xt+1 = xt + Vt - ng(xt)

NAG

Xt+1 = xt + vt -ng(xt +vt)