Sigmoid関数

https://hvidberrrg.github.io/deep_learning/activation_functions/assets/sigmoid_function.png

$ \sigma(x)=\frac{1}{1+e^{-x}}

勾配消失がしてしまいやすい

Sigmoid関数の勾配は最大でも0.25

誤差逆伝播法を用いて勾配をかけ合わせるときにSigmoid関数があるたびに減っていくので、0に近づいてしまう

Sigmoid関数を微分するとSigmoid関数が出てくる

$ \sigma^{\prime}(x)=(1-\sigma(x)) \sigma(x).