9fc872a2a6e4031

http://nhiro.org.s3.amazonaws.com/a/0/a038cdc74b69184c1e31fdfef0c00f29.jpg https://gyazo.com/a038cdc74b69184c1e31fdfef0c00f29

(OCR text)

32

感想

Adamはモメンタム系とAdagradの「各軸ごとの

学習率」の良いとこどりをしているが、Adadelta

の「単位正しく」は取り込んでいない。

そこも取り込んだ手法が今後

ない。

生まれるの

かもしれ