9fc872a2a6e4015

http://nhiro.org.s3.amazonaws.com/2/7/27ab2c30af6d18a056225a984634cf68.jpg https://gyazo.com/27ab2c30af6d18a056225a984634cf68

(OCR text)

16

Adagrad

そこで各軸方向の勾配の二乗和を溜めておいて

学習率をその平方根*で割ることで

まれな特徴に対して学習率を高めにする。

学習率は他の方法と比べて10倍くらい大きくし

ておく。ゼロ除算を避けるために分母に小さい値

を足す。

RMS: Root mean square