Sigmoid関数の数式のイメージ

https://scrapbox.io/files/68d144e9f1bdd738ae131e6c.png

exp(x) は右に行くほど急激に増える指数関数です。

左に行くほど 0 に近づき、右では一気に大きくなります。

https://scrapbox.io/files/68d144fab7e6fabdde059517.png

step1 を 左右反転（x を −x に置き換えた、つまりx軸の上下を反転）した形です。

今度は左で大きく、右で 0 に近づきます。

以後の処理で「左は大、右は小」という関係をうまく利用します。

https://scrapbox.io/files/68d144ff218bb3c3398f9754.png

ここでは「左右の極限をどうしたいか」を考えます。

step 4で行う処理を先に考えると、左側を∞、右側を1に漸近させると都合が良いです。

そこで左側が∞に、右が 0 に近づく関数であるexp(-x) に 1 を足します。

これにより、左側が∞（=∞+1）に、右が 1（=0+1） に近づく関数となります。

https://scrapbox.io/files/68d145065d82cf95ccba062d.png

step 3の逆数をとります。

左側は∞に収束したので、sigmoidの左側は1/∞となり0に漸近します。

右側は1に収束したので、sigmoidの右側は1/1となり1に漸近します。

S字の中心であるx=0 では exp(0)=1 なので 1/(1+1)=0.5となります。

ここを中心に、傾きが最も大きいスムーズな切り替わりが生まれることでS字を描きます。