softmax函数

sigmoid函数を多次元化したもの

$ K>1にて

$ \bm\sigma:\R^K\to\rbrack0,1\lbrack^K

$ \sigma_i:z_\bullet\mapsto\frac{z_i}{\sum_j e^{z_j}}

2次元の時

$ \sigma(\bm z)_1=\frac{e^{z_1}}{e^{z_1}+e^{z_2}}=\frac{1}{1+e^{-(z_1-z_2)}}=\varsigma_1(z_1-z_2)

$ \sigma(\bm z)_2=\frac{e^{z_2}}{e^{z_1}+e^{z_2}}=\frac{1}{1+e^{-(z_2-z_1)}}=\varsigma_1(z_2-z_1)

標準sigmoid函数$ \varsigma_1で表せるので、logitを使った逆函数が存在する

3次元の時

$ \sigma(\bm z)_i=\frac{e^{z_i}}{e^{z_1}+e^{z_2}+e^{z_3}}

これ以降は逆函数を定義できない

References