シグモイドとソフトマックスの関係

シグモイドとソフトマックスの関係

$ \sigma(s) = 1 / (1 + \exp(-s))

$ m(x_i) = \exp(x_i) / \sum \exp(x_i)

$ \sigma(s) = \exp(s) / (\exp(s) + \exp(s)\exp(-s)) = \exp(s) / (\exp(s) + 1) = \exp(s) / (\exp(s) + \exp(0))

つまりシグモイドは2要素のソフトマックスであって、注目している事象の余事象の出力が0の場合に相当する