ニューラルネットワーク

脳神経の構造を数理モデルで再現したもの

(ニューラルネットワーク)

上記は形式ニューロン。入力に対しそれぞれの重みをかけて足した和が閾値を超えていれば出力1を、超えていなければ出力0を渡す。

これを入力を複数にして、出力ニューロンにつなげたものがパーセプトロン(以下）。

例

たとえば、2つの入力と1つの出力があるとします。パーセプトロンに対して、入力として1と2を、出力として両者を足した3を与えて、これを満たすように重みを変更します。次に、入力にまた適当な数、たとえば3と5、出力に両者を足した8を与えて学習させます。これを色々な数で学習させたあとに、学習に使わなかった数、たとえば1と5を入力すると、6を出力するようになるのです。つまり、「足し算」を学習したことになります。もちろん掛け算もできるし、平方根を計算することもできます。出力も2つにして、一方は足し算の結果が、もう片方は引き算の結果が出てくるような学習だってできます*4。これはまさに教師あり学習のことです。(1)

しかし、このパーセプトロン、線形分離可能、つまり一次関数によってわけられる問題しか解けない。

そこで考案されたのがパーセプトロンを何層にも組み合わせたニューラルネットワーク（一番上の図）。３層以上にすることでバックプロパゲーションが可能になり非線形問題も解けるようになった。なお、多層に組み合わせて効率の良い学習をさせるには、各層一つずつ調節していかないとならない。もし全体で調節すると、最後の層だけが調節されてしまう（下図）

引用および参考