勾配消失問題
活性化関数
である
シグモイド関数
の
微分
によって
最大値
が減少してしまうため，
隠れ層
が多くなるにつれて
誤差
が0に近づいてしまう．
これに対し
tanh
を用いることで
最大値
の減少を抑えるというアプローチがあった．
さらに
ReLU関数
を用いることで
勾配消失問題
をさらに抑えることができた．