勾配消失問題
https://gyazo.com/e87d697c4573e21efa589229a3798e13 http://akimacho.hatenablog.com/entry/2016/07/02/001202
(http://akimacho.hatenablog.com/entry/2016/07/02/001202 からの引用)
（多層の）ニューラルネットワークにおいて確率的勾配降下法を使って学習する際、学習がネットワーク全体に行き渡らない問題
結果的に、多層より少ない層にした方が精度が良くなることがある
Sepp Hochreiter が指摘
逆伝播計算の線形性によって引き起こされる
解決方法
自己符号化器を使った事前学習
関連
勾配爆発問題
参考
#ニューラルネットワーク