予測処理(Predictive Processing)まとめ: 入門から最前線まで
Predictive Processing; PPについての日本語解説資料がないので書くNaa_tsure.icon
執筆途中！！！！！！！！！！
https://scrapbox.io/files/67ee28221c97585b8d67e3aa.png
pic from 脳科学わからんに入門する本 vol.1 - 参考資料(C105)
脳を感覚入力を予測する生成モデル（Generative models）として扱う理論の総称
予測符号化(Predictive Coding:PC)や自由エネルギー原理(Free Energy Principle; FEP)、Hierarchical Temporal Memory; HTMなどを包含する
元ネタ：Clark, A. (2015). Surfing uncertainty: Prediction, action, and the embodied mind. Oxford University Press.
もう少し詳しく
脳は世界についての生成モデルを学習し、このモデルを感覚入力の予測に使う
世界についての生成モデルとは？
ここでいう世界とは、感覚入力を生み出している我々が直接観測することのできない隠れ状態のこと
我々は感覚入力を生み出す真の世界については知り得ないが、生み出された感覚入力から間接的に推測することはできる
この推測されたモデルが世界についての生成モデル
このモデルは世界と同様に感覚入力を生成することができる
Naa_tsure.iconもちろんこれは本当の感覚入力ではなく予測である
この生成モデルは、予測と感覚入力の間に生じるエラーによって更新される
このエラーは予測誤差(Prediction Errors)と呼ばれる
脳と機械学習の更新方法
予測を正確にするためには予測誤差(Prediction Errors)を最小化すれば良い
誤差を最小化するアルゴリズムは誤差逆伝播法(Back-Propagation)が有名
NNはエラーを出力側から入力側に向かって逆伝播することで、ノード間の重みをエラーを小さくする方向に更新することができる
しかし、脳には実装に関していくつかの制約がある
制約1: システムの更新がオンラインで行われる
更新と行動(感覚情報処理や運動制御)は基本的に同時進行
これらが時間的に隔てられることはない
制約2: システムの更新が局所的な情報に基づいて行われる
生物の神経細胞間の重みはシナプス前後の神経活動に依存する
これはヘブの学習則(Hebbian Learning)と呼ばれる
シナプス前後にない情報は重みの更新に使えない
誤差逆伝播法(Back-Propagation)はこの両者を満たしていない
順伝播と逆伝播が時間的に隔てられている
逆伝播において、シナプス前後以外の情報で重みの更新を行う
これらを考慮すると、脳は別の更新方法を取っている可能性がある
そもそも脳における予測誤差の最小化には２つの時間スケールがある
神経ダイナミクス
神経細胞の電気化学的な活動による短期的な予測誤差の最小化
シナプス重みの更新
神経細胞間の接続の強さを変化させることによる長期的な誤差の最小化
この２つを考慮した誤差の最小化手法として、予測的構成(Prospective Configuration)という性質を持つアルゴリズムがあげられる
Naa_tsure.icon予測的再構成とは？？
誤差逆伝播法と予測的再構成
誤差逆伝播法(Back-Propagation)では、出力と目標信号のエラーが隠れ層に向かって伝播し、このエラーをもとにノード間の重みが行われる
予測的構成(Prospective Configuration)では、学習が2段階で行われる
1. ネットワークの出力層の活動を目標信号を生み出すものに固定
回帰的な接続を通じてネットワーク全体の活動が、出力層が目標信号を生み出すように調節される
Naa_tsure.icon先ほどの神経ダイナミクスに対応
2. この理想的な活動を維持するようにシナプス重みを調節
Naa_tsure.icon理想的な活動から重みを更新するのがポイント
これは誤差逆伝播法(Back-Propagation)と順序が逆
Naa_tsure.icon出力空間において効率よくロスの最小化する方向に学習が進む
この予測的再構成は特定のモデルを指すものではなくモデルの持つ性質のこと
具体的な実装レベルではenergy-based networks; EBNsがこの性質を持っている
Naa_tsure.iconエネルギーベースモデルとは？？
エネルギーベースモデル
全体のエネルギーを最小化する方向にネットワークが自発的に変化する性質を用いた機械学習手法
記憶したいもののエネルギーが低く、そうでないもののエネルギーが高いとすると、自発的に記憶が想起される
脳の具体的なモデルとしては、予測符号化(Predictive Coding:PC)や自由エネルギー原理(Free Energy Principle; FEP)が注目されている
予測符号化とその数式
予測符号化の数式
https://scrapbox.io/files/67e4ff60b3a661b2b8430f62.png
生物の神経回路における予測的処理の実装
予測誤差はどこにあるのか？
2種類の予測誤差で表現できると考えられる
negative prediction error; nPE
予測より入力が小さい場合のエラー
positive prediction error; pPE
予測より入力がおおきい場合のエラー
樹状突起予測符号化
この感覚運動のミスマッチシグナルは経験依存的に形成される
Visuomotor coupling shapes the functional development of mouse visual cortex | Cell (2017)
樹状突起予測符号化
錐体細胞はその樹状突起に応じて異なる情報を受け取る
基底樹状突起では感覚等の低次領域からのfeedforward入力
尖端樹状突起では予測等の高次領域からのfeedback入力
A cellular mechanism for cortical associations: an organizing principle for the cerebral cortex | Trends in Neuroscience (2013)
The neocortical circuit: themes and variations | Nature Neuroscience (2015)
予測と実際のフィードバックを比較する処理
小脳内部モデル仮説(Cerebellar internal model hypothesis)
予測報酬誤差(Reward-Prediction Error; RPE)
歴史的な話
アイディア自体は昔から存在しているが、皮質のモデルとして注目されたのはPredictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects | Nature Neuroscience (1999)から
年表（随時更新）
1867: ヘルムホルツ(H. von Helmholtz)
目を動かしているのか？世界が動いているのか？
無意識的推論
1950: E. von Holst, H. Mittelstaedt, R.W. Sperry
遠心性コピー(efference copy)
随伴発射(corollary discharge; CD)
視機性眼球反応(optokinetic response; OKR)が自発眼球運動では起こらない
1999: Rajesh P. N. Rao, Dana H. Ballard
予測符号化(Predictive Coding:PC)
終末抑制(Endstopping/End-inhibition)
2004: Jeff Hawkins
Hierarchical Temporal Memory; HTM
2004: Daniel M. Wolpert, Konrad P. Kording
ベイズ脳(Bayesian brain)
2005: Karl J. Friston
自由エネルギー原理(Free Energy Principle; FEP)
重要レビュー論文
Predictive Processing: A Canonical Cortical Computation | Neuron (2018)
PPについての展望レビュー論文
PPの理論/実験的証拠の概要が知りたければ、まず最初に押さえておきたい
Evaluating the neurophysiological evidence for predictive processing as a model of perception | Annals of the new York Academy of Sciences (2020)
PPについての実験的な証拠について詳しい
Predictive Coding: a Theoretical and Experimental Review | arXiv (2022)
PP(特に予測符号化(Predictive Coding:PC))についての理論的な解説が豊富