9fc872a2a6e4017
http://nhiro.org.s3.amazonaws.com/e/9/e97d86ccdd3da742acae20a060c61c8d.jpg https://gyazo.com/e97d86ccdd3da742acae20a060c61c8d
9fc872a2a6e4,016 9fc872a2a6e4,018
9fc872a2a6e4
(OCR text)
18
Adadelta
アイデア1「過去の勾配の二乗和全部を使うん
じゃなくて、最近のだけ使おう」
最近n件を取っておくのはメモリ消費が大きいの
で指数平滑移動平均を使う
ADADELTA: AN ADAPTIVE LEARNING RATE METHOD
https://arxiv.org/pdf/1212.5701v1.pdf
Nearest: b61e45bcb205,002