活性化関数
https://ja.wikipedia.org/wiki/活性化関数
Activation Function
可視化サイト
https://dashee87.github.io/deep%20learning/visualising-activation-functions-in-neural-networks/
例
Step関数
Sigmoid関数
LeRU関数
tanh関数
FReLU関数
https://qiita.com/omiita/items/bfbba775597624056987
softgen
hard_sigmoid
sofplus
etc.
出力層の活性化関数
Softmax関数
https://buildersbox.corp-sansan.com/entry/2020/06/16/110000
恒等関数