9fc872a2a6e4026

http://nhiro.org.s3.amazonaws.com/a/3/a37c0b5545d6c5f963519800b7e4624b.jpg https://gyazo.com/a37c0b5545d6c5f963519800b7e4624b

(OCR text)

27

抜粋

тi+ Bim-1 + (1 — Bi)gt

B2vt-1 (1-B2)g?

ат

Өr +- Өt-1

_

V(Bte)

mが1次のモーメント(モメンタム相当)

vが2次のモーメント、これの平方を分母に置くのが

Adagradの「勾配のRMSを分母に置く」に相当。

*RMS: Root mean square