勾配消失
入力層に近い重みが更新されなくなること
誤差逆伝播法を用いて、入力層に近いパラメータの偏微分を計算するために活性化関数の微分を繰り返しかけるので、0に近づいていってしまう
Sigmoid関数とか特に。
解決策
Sigmoid関数ではなく、ReLU関数を使うとか