9fc872a2a6e4023

http://nhiro.org.s3.amazonaws.com/e/d/edf5863e2c9a19db60de4d6da11f7936.jpg https://gyazo.com/edf5863e2c9a19db60de4d6da11f7936

(OCR text)

学習率不要

24

論文中の数式、上から最急降下法、モメンタム、

Adagrad, Adadeltao AdadeltaEl *t

いことに注目。

Axt

-ngt

Ax pArt-1 -ngt

Axt

9t

RMS[Ar-1

9t

Axt