誤差逆伝播法は生物学的に妥当ではない？

脳における誤差逆伝播には色々な方向から批判がなされている。

Naa_tsure.icon言うほどありえない話でもない？

局所的なエラーの表象がない

生物の神経回路では、シナプス重みの更新はヘブの学習則(Hebbian Learning)に従い、シナプス前後の神経細胞の活動に基づいて行われる。

誤差逆伝播法(Back-Propagation)では局所的なエラーの情報は下流の複数のノードにおける計算に基づいているが、これは更新したいシナプスの前後の活動に表現されていない。

feedforwardとfeedbackのシナプス重みが対称的

神経細胞のシナプス重みが対称である保証はどこにもない。

そもそも神経細胞のペアが相互に結合していないこともありうる。

Naa_tsure.icon実はシナプス重みは対称でなくとも学習はできる？

Naa_tsure.iconしかしこの学習手法は複雑な問題にスケールできない

生物の神経細胞とかけ離れたニューロンモデル

入力を線形に足し合わせる形式ニューロンに対し、神経細胞はシナプス入力を非線形に統合している。

Naa_tsure.icon尖端樹状突起(Apical dendrite)を導入したモデルは増えてきている

rate coding(発火頻度に対応)を仮定しているが、特に皮質の神経細胞はスパースに発火するのでスパイク(Spike)を考慮する必要がある。

Naa_tsure.iconSNNを使用した予測符号化モデルも最近は提案されている

feedforwardとfeedbackの時間的な断絶

FeedForwardに信号が伝播した後にエラーが逆方向にFeedbackされる

生物の脳では常に両方向のシグナル伝達が行われている

Naa_tsure.icon時間ではなく、空間的に区切れば良いのではないか？

細胞体(soma)と樹状突起(Dendrite)で異なるシグナル伝達を扱う

Naa_tsure.icon意外と誤差逆伝播の問題点は予測符号化の派生モデルで解決できていそうに見える。

でも、生物学的に妥当と言われる割には予測符号化の生物学的証拠が実は弱い