tanh関数

https://gyazo.com/7b43576bdedc3873150834da428db5c4

微分の最大値が11となり、勾配消失の原因を取り除くことができる。

しかし、依然として極端に大きい・小さい入力での微分が00となってしまう問題は残っている。