ニューラルネットワークの処理の意味
from ロジスティック回帰からニューラルネットワークへ
ニューラルネットワークの処理の意味
学習後のニューロンの特性をみてみると…
https://gyazo.com/3b207b340543b89c4e07355c8b9f8578
入力層→中間層で、線形結合したものを非線形変換している
中間層のニューロンごとに、ロジスティック回帰のようなモデルをもっているということ
この線形結合は、バイアス項があるので正確にはアフィン変換（線形結合＋平行移動というイメージ）
アフィン変換→非線形変換、という構造になっている
この非線形変換の関数をシグモイドでなくガウス関数にすると、基底関数を用いた線形回帰モデルでやったガウス型基底関数による線形回帰モデル＝RBFネットワークと等価になる
中間層→出力層では、中間層の出力を線形結合したものをソフトマックス変換し、各クラスへの配属確率を出力する
なお、分類問題でなく、回帰問題でも使える（RBFネットワークと同様）
その場合はソフトマックス関数をかませずそのまま中間層の出力の線形和を用い、誤差関数には二乗誤差（MSE）を用いればよい
中間層がさらに多層になっても、この処理の構造はそのまま適用できる
要するに、ニューラルネットワークは、線形結合のユニットを多数配置し、アフィン変換と非線形変換を繰り返すことによって、複雑な非線形関数を表現するモデル、ということになる