シグモイド
S字形の関数全般を言うらしい
（狭義には）以下の特徴を持つ:
$ f(0) = 0: 原点を通る
$ f'(0) = 1: 原点での傾きが45度
$ \lim_{x \to \infty} f(x) = 1: xを大きくすると1に漸近する
$ \lim_{x \to -\infty} f(x) = -1: xを小さくすると-1に漸近する
$ f(x) = -f(-x): 点対称
ニューラルネットワークでは活性化関数ってので使われるらしいですよ
その場合、値域が-1から1でなく、0から1だったりする
ディストーション・オーバードライブに使うといい感じ
いろいろなシグモイド
$ \frac{x}{\sqrt{1 + x^2}}.
$ \tanh(x).
$ \frac{2}{\sqrt{\pi}} \int^x_0 e^{-t^2} dt.
$ {\rm erf}'(x) > 1、原点での傾きが微妙に1より大きいので注意
$ \frac{1}{1 + \exp(-x)}.
中心は(0, 0.5)
ニューラルネットワークではよく使われるらしい
$ \frac{2}{1 + \exp(-2x)} - 1は$ \tanh(x)と等価
$ \frac{x}{1 + |x|}.
$ \frac{2}{\pi} \arctan \left( \frac{\pi}{2} x \right).
https://gyazo.com/2131ca82913fbf04fc0e484b2fbd0376