9fc872a2a6e4016

http://nhiro.org.s3.amazonaws.com/9/f/9f9082dfac87e2de83c8af0f8b32c6de.jpg https://gyazo.com/9f9082dfac87e2de83c8af0f8b32c6de

(OCR text)

17

AdagradD HA

勾配の二乗は常に非負な

学習率は単調非増加。

ので

学習初期に勾配のきついところを通ると

それ以降ずっとその軸方向の学習率が

小さくなってしまう。

これでいいのか?