自由エネルギー原理

自由エネルギー原理

自由エネルギーとは

自由エネルギー（じゆうエネルギー、英: free energy）は、熱力学という科学分野で使われる概念の一つです。

自由エネルギーは、化学反応や熱力学的な過程において、系が最大限の仕事を行える能力や自発的な変化の方向、平衡条件を表す指標として使われます。

具体的には、自由エネルギーは系のエネルギー状態を示す値であり、その値が小さいほど系は安定し、反応や変化が自発的に起こりやすくなります。

逆に、自由エネルギーが大きい場合は系は不安定であり、外部からエネルギーを供給しない限り反応や変化は進みにくくなります。

自由エネルギーは、熱力学的な系の性質や反応の方向性を理解する上で重要な概念です。系が自発的に変化するための条件や系のエネルギー変化の可能性を評価する際に用いられます。

誰によって提案された？

自由エネルギーは熱力学的な概念であり、1882年にヘルマン・フォン・ヘルムホルツによって提唱されました。

彼によって命名された名称です。

また、等温等圧過程の自由エネルギーと化学ポテンシャルの関係については、ウィラード・ギブズによって理論的に展開されました。

自由エネルギーには2つの種類があります。等温等積過程における自由エネルギーはヘルムホルツの自由エネルギー（Helmholtz free energy）と呼ばれ、

等温等圧過程における自由エネルギーはギブズの自由エネルギー（Gibbs free energy）と呼ばれます。

ヘルムホルツの自由エネルギーは「F」で表記され、

ギブズの自由エネルギーは「G」で表記されることが一般的です。

これら2つの間には、

「G = F + pV」という関係があり、

体積の変化によって系外に行われる仕事「pV」の分だけ異なります。

熱力学の第二法則によれば、系は自由エネルギーが減少する方向に進行します。

また、閉じた系における熱力学的平衡条件は、自由エネルギーが極小値を取ることです。

つまり、自由エネルギーが最小化された状態が系の安定な平衡状態となります。

自由エネルギー原理

自由エネルギー原理は、Karl J. Fristonによって提唱された脳の情報理論です。

この理論によれば、生物の知覚、学習、行動は、特定のコスト関数である変分自由エネルギーを最小化するように決まるとされています。

この原理に基づくと、生物は統計的な推論手法である変分ベイズ推論を使用して自己組織化を行うとされています。

要するに、生物は外部の刺激や情報を受け取り、それを最小のコストで説明するために認識や行動を選択します。

変分自由エネルギーというコスト関数を最小化することで、生物は環境との適切な関係を構築し、最適な行動を選択するとされています。

この自由エネルギー原理は、脳の情報処理や認知の仕組みを解明する上で重要な理論とされており、生物の行動や意識のメカニズムを理解するための枠組みとして注目されています。

生物の適応的な行動は、自己組織化によって特徴づけられます。

この自己組織化は、外部環境のダイナミクスに関する内部表現（内部モデル）を獲得することによって行われます。

生物は環境の状態を認識し、自分の行動を更新することで、生存と繁殖の確率を高めます。

このような自己組織化は、一般的にコスト関数の最小化として表現され、そのコスト関数の勾配（微分）は神経活動やシナプス可塑性の方程式を導くことができます。

この考え方は神経科学の理論研究において共通して用いられています。

歴史

19世紀の物理学者であるHermann von Helmholtzは、人間の感覚入力は不完全であるため、脳は不足している情報を補うために無意識的に推論を行って知覚を支えているという無意識的推論の概念を提唱しました。

つまり、脳は感覚入力の背後にある隠れた状態変数（隠れ状態）のダイナミクスを無意識的に推論していると考えられています。

ここでは、このような外界を自律的に推論する実体を「エージェント」と呼ぶこととしています。

Helmholtzの概念的な枠組みに加えて、無意識的推論は計算神経科学や機械学習の分野で統計学的手法に基づいて実装されてきました。

特に予測符号化は、予測誤差を最小化することで外界の予測を行うための内部表現を自律的に獲得する理論的な枠組みです。

これは視覚野や他の脳領域における情報処理のモデルとして応用されてきました。

このような最適化は、ベイズ推論（ベイズ推定）と呼ばれる統計学的な推論の一種として理解されます。

ベイズ推論は、観測データに基づいて事前確率（前の信念）を事後確率（後の信念）に更新するプロセスです。

ベイズ脳仮説とは、このベイズ推論の枠組みを用いて脳を理解しようとする考え方です。

以上のような脳の理論の発展の流れの中で、イギリスの神経科学者であるKarl J. Fristonは、数理的かつ統一的な説明を行うための理論として、自由エネルギー原理を提唱しました。彼の理論は、脳の認知機能や神経・精神疾患、心理・生命現象を包括的に説明することを目指しています。

理論の概要



自由エネルギー原理は、生物の知覚、学習、行動が変分自由エネルギーというコスト関数を最小化するように決まり、その結果、生物が外界に適応するという理論です。

生物は、自分自身や周囲の状況を正しく把握するために、変分自由エネルギーを最小化するように働きます。

変分自由エネルギーは、生物が外界の状態を正確に予測し、予測と実際の状態の誤差を最小限に抑えるための指標です。

生物は、この指標を最小化するような知覚や学習、行動を選択することで、外界に適応しようとします。

例えば、

動物が餌を探す場面を考えてみましょう。

動物は自分の状態（お腹が空いている）と

周囲の状況（どこに餌があるか）を把握し、変分自由エネルギーを最小化するような行動を選択します。

もし餌がある場所を正しく予測し、最短距離でその場所に向かう行動を選択すれば、変分自由エネルギーが最小化され、餌を見つける確率が高まります。

このように、自由エネルギー原理は、生物が最適な知覚、学習、行動を選択することで、外界の変化に適応し生存を維持するメカニズムを説明する理論です。

この原理に基づき、生物の知能を統一的に理解するためにベイズ推論を用いることを目的としています。

生物は、外界や身体の状態を脳内に生成モデルとして持っています。

この生成モデルは、隠れた状態変数から感覚入力が生じる仕組みを数式で表現したもので、外部状態と感覚入力の同時確率分布として考えることができます。

この生成モデルを使って、感覚入力だけから背後の生成プロセスを推測し、将来の感覚入力や隠れた状態を予測することが可能です。

言い換えれば、生成モデルは、外部の状態がどのようにして感覚入力を生み出すかについての仮説を示し、知覚や学習はその生成モデルが実際の生成プロセスに適合するように自己組織化されていくと理解できます。

その結果、生物の神経回路は、外部の環境状態を正確に推測し、将来の感覚入力や隠れた状態を予測できるようになります。これによって、生物は環境に対して適応することができます。

生成モデルを構成する隠れた状態やパラメータは、予測誤差の指標である変分自由エネルギーを最小化することで最適化することができます。

自由エネルギー原理は、生物の内部状態や行動が変分自由エネルギーを最小化するように更新されると主張しています。

神経活動やシナプス結合は、変分自由エネルギーを最小化する方向に変化し、その結果、神経回路は外界のベイズ推論を行うように自己組織化します。

自由エネルギー原理は、推論の最適化の法則によって、知覚だけでなく行動制御や意思決定についても説明可能な統一理論です。

ベイズ推論に基づく行動制御や意思決定の最適化は、能動的推論と呼ばれ、生物学的に妥当で適応的な制御の理論として研究されています。

つまり、生成モデルの最適化によって生物は外界に対応し、神経活動やシナプス結合の変化によってベイズ推論を行い、知覚や行動を制御します。これは生物が環境に順応するための仕組みであり、知覚や行動の最適化においても重要な役割を果たしています。

図を使って自由エネルギー原理に基づく能動的推論の仕組みを説明します。

図では、外界を飼い主とし、エージェントをイヌとしています。

最初に飼い主が信号を生成すると、イヌは感覚入力だけから飼い主の状態（気持ち）を推測し、それを脳内で表現します。

この推測された状態の事後確率を更新するために、変分自由エネルギーを最小化します。これにより、最適なベイズ推論を行うことができます。

さらに、イヌは将来予測される自由エネルギー（期待自由エネルギー）を最小化する行動を能動的に推測し選択します。

これにより、望ましい感覚入力（エサ）を得る確率を最大化することができます。

また、生成モデルは事前分布によって特徴づけられています。

そのため、さまざまな精神障害の神経メカニズムは、誤った生成モデルや事前分布に基づくベイズ推論・予測の破綻として理解されることが提案されています。

変分ベイズ推論

自由エネルギー原理は、生物の特徴であり、感覚入力（o）の予測誤差であるサプライズ（surprise）を最小化することが重要であると提唱しています。

サプライズは、感覚入力の予測と実際の入力の不一致を示すもので、それを数値化したものです。つまり誤差です。

サプライズの最小化は、生物が与えられた環境に適応するために重要です。

ただし、サプライズは統計的な概念であり、直感的な驚きとは異なることに留意してください。

直接的にサプライズを計算するには、周辺化尤度（同時確率分布の積分）を計算する必要がありますが、神経回路にとっては難しい課題です。

そのため、神経回路は変分自由エネルギーというサプライズの上限値を評価する方法を用いることがあります。

変分自由エネルギーは、扱いやすい代替手法であり、神経回路におけるサプライズの評価に利用されます。

この概念は、統計物理学から派生したものであり、機械学習の分野で広く利用されています。

この枠組みでは、神経活動やシナプス結合強度が変分自由エネルギーを最小化するように更新され、行動が生成されます。

この特性は、熱力学や化学におけるルシャトリエの原理と類似しています。

神経回路は、この原理に基づいて自己組織化し、外部の状態に対して変分ベイズ推論を行い、さまざまな脳の機能を実現していると考えられています。

変分ベイズ推論は、

一連の感覚入力（o）に基づいて、

外部状態に関する事前分布Pm(ϑ)を

対応する（近似）事後分布Q(ϑ)に更新する過程です。

ここで、外部状態(ϑ)は隠れ状態(s)、エージェントの行動(δ)、システムパラメータ(θ)、ハイパーパラメータ(λ)の集合として定義されます。つまり、ϑ ={s1:t, δ1:t, θ, λ}と表します（ϑとθの違いに注意してください）。

また、方策πを使用してϑを構成することもできます。

例えば、外部環境が離散状態空間である場合、部分観測マルコフ決定過程の形式で外部環境を表現できます。

変分ベイズ推論は、このような外部状態と感覚入力の関係を表現する生成モデル

Pm(o1:t, ϑ)

に基づいて行われます。

この生成モデルは、外部状態がどのように感覚入力を生成するかを示しています。変分ベイズ推論では、事前分布Pm(ϑ)を近似するために、事後分布Q(ϑ)を求めることが目標です。

変分ベイズ推論では、

事前分布Pm(ϑ)と事後分布Q(ϑ)の間の距離（Kullback-Leibler（KL）ダイバージェンス）

を最小化するように、Q(ϑ)を近似的に求めます。

この距離最小化の過程によって、推論が行われ、外部状態の事後分布が更新されます。

具体的には、

変分ベイズ推論では、

変分下限（変分自由エネルギー）と呼ばれる尺度を最大化することによって、

近似的な事後分布Q(ϑ)を求めます。

変分下限は、真の事後分布P(ϑ|o1:t)と近似事後分布Q(ϑ)の間の差を表します。

最大化することで、真の事後分布に近づくようなQ(ϑ)を求めることができます。

変分ベイズ推論の目的は、エージェントが外部状態について持つ信念の分布である事後分布Q(ϑ)を最適化することです（ただし、Q(ϑ)は近似的な分布です）。

そのために、変分自由エネルギー(F)と呼ばれるコスト関数が使用されます。

Fはo（感覚入力）とQ(ϑ)に依存する関数であり、以下のように定義されます：

F(o1:t, Q(ϑ)) =

したがって、Fを最小化することにより、間接的にサプライズを最小化することができます。

変分法を使用して、微小な変化に対するFの変化に注目することで、Fを最小化するQ(ϑ)の解を見つけることができます（つまり、微小な変化によってFが常に増加するようなQ(ϑ)）。

上記の式を変形すると、

変分自由エネルギーは予測誤差と複雑さの和として表されます。

予測誤差は、感覚入力や隠れ状態の予測値と実際の値との差を測定するものであり、背景ノイズをガウス分布と仮定する場合、通常は平均二乗誤差として単純化されます。

複雑さは、事前分布と事後分布の差を示し、通常はKullback-Leiblerダイバージェンスを使用して評価されます。

この項は、事後分布が事前分布から大きく逸脱しないように制約を加える役割を果たします。

事後期待値ϑ（観測に基づくϑの推定値）は、通常、事後分布の近似として十分です。

Fのϑに関する最小化問題を解くことで、元のFのQ(ϑ)に関する最小化問題を解くことができます。

そのため、勾配降下法を使用して、Fをϑの各成分について最小化することで、事後分布を最適化することができます。

具体的には、ϑの各成分を更新するために以下の式を使用します：

ϑ̇i ∝ -∂F/∂ϑi

ここで、ϑiはϑのi番目の成分を表します。この更新は、固定点（ϑ̇=0となるϑ）に収束するまで繰り返されます。この収束したϑ（またはより一般的にはQ(ϑ)）は、ベイズ推論において最適な内部表現と行動を意味します。

自由エネルギー原理は、推論、学習、適応的な行動制御、将来の予測、リスク最小化の行動計画について統一的に説明する法則です。

能動的推論

自由エネルギー原理の特徴の一つは、変分ベイズ推論を行動制御と行動計画の説明に応用していることです。

これは能動的推論と呼ばれます。

エージェントが行動を生成し、外部環境からフィードバックを受けるとき、行動の生成プロセスとサプライズはエージェントの行動に関連します。

したがって、エージェントは、将来の感覚入力を予測通りにするために、将来期待される自由エネルギー（期待自由エネルギー, expected free energy, G）を最小化する行動を選択します。

好ましい入力は、事前分布であるpreference priorによって決まります。

図の例では、エージェントの犬は餌を得るために、期待自由エネルギーを最小化する行動を能動的に推論し、選択します。

このように、能動的推論は、知覚と行動の両方を過去や未来にわたって考慮した変分自由エネルギーの最小化によって導かれます。

これにより、推論、予測、学習、行動計画、行動制御などを統一的に説明することができます。

したがって、この理論的な枠組みは、生物の感覚入力に基づく適応的な行動の普遍的な特性を説明するために期待されています。

能動的推論は、エージェントが予測と異なる感覚入力を受け取ったときに起こります。

例えば、エージェントが外界の生成過程とは異なる生成モデルを使っている場合、エージェントは外部環境の生成過程を自身の生成モデルに近づけるために行動を起こします。

例えば、鳥が他の鳥の歌が聞こえる状況を学習した場合、その鳥が歌が聞こえる状況ではサプライズが最小化されます。したがって、鳥が歌を聞かない場合には大きなサプライズが生じるため、鳥は自分自身で歌を歌ったり、同じ種類の鳥を探したりする行動をします。

この行動の結果、鳥は予測した通りの歌を実際に聞くことができ、サプライズを最小限に抑えることができます。

ただし、鳥は行動を起こす前に、歌が聞こえない状況に再適応する可能性もあります。

つまり、サプライズを最小化するためには、エージェントの内部状態を外部環境に近づける方法と、

エージェントの行動によって外部環境を内部状態に近づける方法の2つがあります。

学習速度と行動生成の閾値のバランスによって、学習を優先するのか行動生成を優先するのかが決まります。

能動的推論は、行動計画の説明にも適用できます。

行動計画は将来の不確実性を最小化するための方策（policy）の選択を指し、実は推論の一部です。

行動（δ）は直接的に外部環境に影響を与える一方で、方策（π）は将来の計画（つまり一連の行動）を表し、行動を決定するパラメータとなります。

方策の事後確率は、負の期待自由エネルギーに精度を乗じた指数に比例します。

したがって、エージェントは各方策に対応する期待自由エネルギーを計算し、最小の期待自由エネルギーを持つ方策を選択します。

ここで、将来の結果に関する事前優先度は、報酬と罰に相当する情報を含んでおり、期待自由エネルギーの形状を特徴付けます。

また、能動的推論では、探索と利用のバランスは期待自由エネルギーによって決定されます。

ある方策が他よりもはるかに小さな期待自由エネルギーを持つ場合、その方策はほぼ確実に選択されるため、エージェントは利用を重視する戦略を取ります。

逆に、すべての方策が同程度の期待自由エネルギーを持つ場合、エージェントはランダムに方策を選択し、探索的な行動をします。

さらに、期待自由エネルギーの大きさを制御する精度も、変分自由エネルギーを最小化するように最適化されており、精度が高いほどエージェントの行動はより利用を重視したものになります。

問題点

数学的には、変分自由エネルギーを最小化するエージェントがベイズ推論や学習を行うことは確かです。

しかし、それが脳の仕組みとして生物学的に正しいかについては別の問題です。

自由エネルギー原理は非常に抽象的な理論であり、その神経基盤についてはまだ議論が続いています。

通常、隠れ状態とパラメータの事後分布は、神経活動とシナプス結合強度によって符号化されていると考えられており、その妥当性に関する証拠も増えてきています。

たとえば、大脳皮質の局所回路の解剖学的特性と階層的予測符号化モデルを比較することで、検証可能な理論予測が行われています。皮質浅層の神経活動の周波数は高く、皮質深層の神経活動の周波数は低いため、前者が予測誤差を、後者が期待値を符号化している可能性が示唆されています。

ただし、これらの議論は予測符号化モデルの妥当性に関するものであり、自由エネルギー原理の妥当性の証拠としては間接的なものです。

神経細胞やシナプス結合の活動や可塑性が、どのような仕組みで変分自由エネルギーの最小化を実現し、脳全体としてベイズ推論や学習を行っているのかについては、まだ完全に解明されていないと言えます。

一方で、自由エネルギー原理の普遍性を示すための理論的研究も行われています。

一般的に、生物とその周囲の環境の区別は、内部状態と外部状態を統計的に分離するマルコフブランケット（Markov blanket）の存在を示唆しています。

システムが（非平衡な）定常状態に達した場合、生物の内部状態の条件付き期待値は、外部状態に関する事後確率を表現していると解釈できます。

これにより、どんな（非平衡な）定常状態も、何らかのベイズ推論を実現していると見なすことができることを意味します。

また、完備類定理（complete class theorem）によれば、エージェントがコスト関数を最小化している場合、少なくとも1つの事前分布とベイズ的コスト関数の組でエージェントの振る舞いを説明できます。

したがって、生物や脳がベイズ推論を行うエージェントとして振る舞うという仮説は実験的に反証できない可能性があります（自明に正しい）。

この性質は、自由エネルギー原理を実験的に検証する際に問題が生じる可能性があると考える人もいますが、この性質こそが脳の理論を構築する上での重要な利点とも言えます。

最近の理論研究では、古典的な神経活動やシナプス可塑性の方程式を導くような神経生理学的に妥当なコスト関数と、部分観測マルコフ決定過程の下での変分自由エネルギーが数学的に等価であることが示されています。

これらの数学的性質は、脳が自由エネルギー原理に従っている可能性を示唆しています。