ソフトマックス関数
式: $ y_k = \frac{\exp{(a_k)}}{\sum_{i=1}^n \exp{(a_i)}}
出力が全部で n個で、k番目の出力が上の式で表される。
https://gyazo.com/83fef842860820b259448220ad511f9b
図を見ると明らかなように、出力層のニューロンは一つ前の隠れそうのニューロンと全層結合している
ソフトマックス関数の実装
特徴
ソフトマックス関数の出力の和は1になる!
定義式を見れば当たり前。
しかしこれが重要で、ソフトマックス関数の出力を確率と見ることができる。すなわちソフトマックス関数は確率密度関数と見なせる。
推論フェーズではソフトマックス関数は省略されることが多い
出力の大小関係は変わらない
指数関数なので計算量を食う
出力層のニューロンの数
分類問題において、10クラスに分類する場合には出力層のニューロンは10個に設定する。