Supervised learning in spiking neural networks with FORCE training

Wilten Nicola & Claudia Clopath

Nature Communicationsvolume 8, Article number: 2208 (2017)

doi:10.1038/s41467-017-01827-3

スパイキングニューラルネットワークにFORCE学習を組み合わせた教師あり学習を提案し、ベートーベンの曲、鳥のさえずり、映画のワンシーンの記憶、リプレイを行いました。それぞれのAccuracyは82%、80%、90%程度です。

FORCE学習とは最近はやりの（？）リードアウト型の学習方法で、リカレント構造を持つリザーバーと呼ばれるネットワークを持ちます。リザーバーに属するニューロン同士の結合の重みは一定にしたままで、最後のアウトプットの重みだけを更新します。つまり、誤差逆伝播はせず、最小二乗法でのみ学習するのも特徴です。そのため、リザーバー層のニューロンは1000~10000ほどと、大規模にできます。そのアウトプットが次の入力となり、時系列に沿ったアウトプットが並びます。

スパイキングニューラルネットとは、ニューロの膜電位を再現しており、興奮性入力と抑制性入力の総和で膜電位が変化し、閾値を超えると発火するという特徴を数学的に表現しています。普通のニューラルネットよりも実際のニューロンの挙動を再現していると言われています。

感想としては興奮性シナプスと抑制性シナプスがほぼ1:1の時の精度が最も高く、興奮性シナプスを除いていく操作をしても精度は比較的robustで急激に下がることはなかった一方、抑制性シナプスを取り除いていくと急激に精度が落ちたのが面白いです。このような実際の脳に近いモデルでシミュレーションを行って実世界の脳を考察するのも面白い、と思いました。