自由エネルギー原理

他の理論との関係

能動的推論は、良いレギュレーター定理（英語版）^[13]や、自己組織化に関する報告^[14][15]と密接に関連している。自己組織化に関する報告には、自己集合、パターン形成（英語版）、オートポイエーシス^[16]、およびプラクトポイエーシス（英語版）^[17]が含まれる。能動的推論は、サイバネティックス、シナジェティクス（物理）（英語版）^[18]、および身体化された認知で検討されたテーマを扱っている。

自由エネルギーは、ある変分確率密度の下で観測が期待されるエネルギーから、そのエントロピーを引いた形で表せるので、最大エントロピー原理とも関連がある。^[19]さらに、エネルギーの時間平均^{[訳注 2]}は作用になるため、最小変分自由エネルギー原理は 結局のところ、最小作用の原理である。

スケール不変性を可能にする能動的推論は、他の理論や分野にも応用されている。例えば、社会学^{[20][21][22][23]}、言語学およびコミュニケーション^[24][25][26]、記号学^[27][28]、疫学^[29]など、多様な領域で適用されている。

また、負の自由エネルギーは、エビデンス下限（英語版）と数学的に等価である。これは、機械学習において変分オートエンコーダなどの生成モデルを教育する際に広く使用される。

生成モデルの定義

自由エネルギー原理を通じて能動的推論の仕組みを具体的に説明するためには、生成モデルを明確に定義する必要がある。この生成モデルは、複数の確率密度関数を含み、それらが組み合わされて因果モデルを特徴づける。

その一例として次のように定義される。

能動的推論

行動と知覚

そして、行動と知覚は、次のような同時最適化問題として定義される。

${\displaystyle {\begin{aligned}\mu ^{*}&={\underset {\mu }{\operatorname {arg\,min} }}\{F(\mu ,a\,;\,s))\}\\a^{*}&={\underset {a}{\operatorname {arg\,min} }}\{F(\mu ^{*},a\,;\,s)\}\end{aligned}}}$

• 内部状態 ${\displaystyle \mu }$ の最適値 ${\displaystyle \mu ^{*}}$ は、自由エネルギー ${\displaystyle F}$ を最小化する ${\displaystyle \mu }$ の値として決定される。
• 行動 ${\displaystyle a}$ の最適値 ${\displaystyle a^{*}}$ は、最適な内部状態 ${\displaystyle \mu ^{*}}$ を所与とした上で、自由エネルギー ${\displaystyle F}$ を最小化する ${\displaystyle a}$ の値として決定される。

ここで、内部状態 ${\displaystyle \mu }$ は通常、変分確率密度 ${\displaystyle q}$ のパラメーター群を符号化したものとみなされる。したがって、内部状態は、外部状態 ${\displaystyle \Psi }$ についての事後信念に関するエージェントの最良の推測 を表すものとみなされる。

自由エネルギーは、エージェントの（ぎりぎり または 平均的な）感覚的驚きの上限でもあることに注意する。したがって、自由エネルギーの最小化は、驚きの最小化という観点からも動機づけられる。

自由エネルギーの最小化と自己組織化

自己組織化システムがランダム力学システム（英語版）とみなせる場合、自由エネルギーの最小化がその特徴的な性質となる　という見方が提案されている。^[30]　この枠組みは、行動と感覚状態を含むマルコフブランケットに基づいており、マルコフブランケットは内部状態と外部状態を分離する役割を果たすものである。　もし内部状態と行動が自由エネルギーを最小化するならば、それは感覚状態のエントロピーの上限を設定することになる：

${\displaystyle \lim _{T\to \infty }{\frac {1}{T}}{\underset {\text{free-action}}{\underbrace {\int _{0}^{T}F(s(t),\mu (t))\,dt} }}\geq \lim _{T\to \infty }{\frac {1}{T}}\int _{0}^{T}{\underset {\text{surprise}}{\underbrace {-\log p(s(t)\mid m)} }}\,dt=H[p(s\mid m)]}$

これは、エルゴード性の仮定のもとでは、長期的な驚きの平均がエントロピーと等しくなるためである。この上限は、（熱力学第二法則 や ゆらぎの定理に関連付けられた）無秩序への自然な傾向に対抗する。

　しかしながら、生命科学における統一原理を、ランダム力学系、非平衡定常状態、およびエルゴード性といった統計物理学の概念に基づいて定式化することは、生物システムを理論的・実証的に研究する上で重大な制約を課すことになる。その結果、生物システムを単なる自己組織化システムの中でも興味深いものとしている特性が、見えにくくなるというリスクが伴う。^[31]

自由エネルギーの最小化とベイズ推論

すべてのベイズ推論は、自由エネルギーの最小化という観点から記述できる。^{[32][出典無効]}自由エネルギーが内部状態について最小化されるとき、隠れ状態（外部状態）上で、変分確率密度と事後確率密度の間のカルバック・ライブラー（KL）発散が 最小化される。これは、変分確率密度の式が固定されている場合には近似的なベイズ推論となり、そうでない場合には厳密なベイズ推論　となる。

したがって、自由エネルギーの最小化は、ベイズ推論やフィルタリング（例：カルマンフィルター）を包括的に記述する方法を提供する。また、自由エネルギーの最小化は、ベイズモデル選択（英語版）にも応用され、自由エネルギー(free-energy) は 複雑さ (complexity) と 正確さ (accuracy) の差に分解できる：

${\displaystyle {\underset {\text{free-energy}}{\underbrace {F(s,\mu )} }}={\underset {\text{complexity}}{\underbrace {D_{\mathrm {KL} }[q(\psi \mid \mu )\parallel p(\psi \mid m)]} }}-{\underset {\mathrm {accuracy} }{\underbrace {E_{q}[\log p(s\mid \psi ,m)]} }}}$

最小自由エネルギーを持つモデルは、（複雑さのコスト（例：オッカムの剃刀 や、より形式的な計算コストの取り扱い^[33]　などを参照）の下ではあるが、）データを精密に説明する。ここで、複雑さ とは、ある隠れ状態の下で 変分確率密度と 事前信念 の間の相違である。すなわちこれは、データを説明するために使用される有効自由度 である^{[訳注 4]}。

自由エネルギーの最小化と熱力学

変分自由エネルギーは、情報理論的な関数であり、熱力学的な（ヘルムホルツ）自由エネルギーとは異なる^[34]。しかし、変分自由エネルギーの 複雑さ 項は、ヘルムホルツ自由エネルギーと同じ不動点を持つ（ただし、システムが熱力学的に閉じているが孤立していないと仮定した場合である）。その理由は、感覚的な外乱が（十分に長い時間にわたって）止められると、複雑さ が最小化されるためである（なぜなら、正確さ が無視できるからである^{[訳注 5]}）。このとき、システムは平衡状態 にあり、最小エネルギー原理（英語版） に従って内部状態はヘルムホルツ自由エネルギーを最小化する^[35]。

自由エネルギーの最小化と情報理論

自由エネルギーの最小化は、感覚状態と、（エントロピーが固定されている場合の）変分確率分布のパラメーターとしての内部状態との間の、相互情報量を最大化することと等価である。これは、自由エネルギーの最小化が「最小冗長性原理」と関連していることを示す^[36][12]。

知覚推論とカテゴリー化

自由エネルギーの最小化は、知覚における 無意識の推論（英語版） の概念を形式化し^[7][9]、神経細胞による処理（neuronal processing）に関する標準（ベイズ的）理論 を提供する。

ニューロンの動態（neuronal dynamics）の関連過程理論（associated process theory）は、自由エネルギーを勾配降下法 によって最小化することに基づいている。これは、一般化ベイズ・フィルタリング（英語版）（generalised Bayesian filtering）に対応する（ここで、~　は 一般化運動座標の変数を、${\displaystyle D}$ は 微分行列演算子 を表す）：^[39]

${\displaystyle {\dot {\tilde {\mu }}}=D{\tilde {\mu }}-\partial _{\mu }F(s,\mu ){\Big |}_{\mu ={\tilde {\mu }}}}$

通常、自由エネルギーを定義する 生成モデル は、非線形 かつ （脳の皮質の階層と似て）階層的 である。

一般化フィルタリング の特別なケースには、カルマンフィルター が含まれる。これは、予測符号化（英語版） と形式的に等価であり^[40]、脳内でのメッセージ伝達の例えとしてよく知られている。

階層モデルのもとで、予測符号化には 上向き（ボトムアップ）の予測誤差 および 下向き（トップダウン）の予測の回帰的な交換が 伴う^[41]。このメカニズムは、感覚系^[42] と 運動器系^[43] の解剖学的・生理学的構造と一致している。

知覚学習と記憶

予測符号化 において、自由エネルギー（自由行動^{[訳注 7]}）の時間積分に対し、勾配降下法 を用いてモデルパラメーターの最適化をすることは、連合性可塑性（associative plasticity） またはヘッブ的可塑性（Hebbian plasticity）に帰着し、脳におけるシナプス可塑性（synaptic plasticity） と関連している。

知覚の精度、注意、顕著性

精度パラメーター（precision parameters）の最適化は、予測誤差のゲインの最適化に対応する（例えば、カルマンゲイン）。神経生理学的に妥当な予測符号化の実装^[41]では、この最適化は、浅層錐体細胞（superficial pyramidal cells）の興奮性（英語版）の最適化に対応し、注意のゲイン（attentional gain）^[44]として解釈されている。

注意に関するトップダウン vs. ボトムアップ論争は、主要な未解決問題として取り上げられてきた。この課題に対し、ある計算モデルが、トップダウンとボトムアップのメカニズムが相互作用する 循環的な性質 を示すことに成功した。注意の創発モデル（emergent model of attention）として確立された SAIM というモデルを用いて、著者らはPE-SAIM というモデルを提案した。これは標準版とは対照的に、選択的注意 にトップダウン的な視点からアプローチする。このモデルは、予測誤差を同じレベルまたは上位レベルへ伝達することを考慮に入れている。これは、データ と その原因（または、生成モデル と 事後確率）との間の差を示すエネルギー関数を最小化するためである。モデルの妥当性を高めるために、著者らは刺激間の神経競合（neural competition）も組み込んだ。このモデルの顕著な特徴は、課題実行中において、自由エネルギー関数を予測誤差のみを用いて再定式化した点である。：

${\displaystyle {\dfrac {\partial E^{total}(Y^{VP},X^{SN},x^{CN},y^{KN})}{\partial y_{mn}^{SN}}}=x_{mn}^{CN}-b^{CN}\varepsilon _{nm}^{CN}+b^{CN}\sum _{k}(\varepsilon _{knm}^{KN})}$

ここで、${\displaystyle E^{total}}$ は神経ネットワークが含む総エネルギー関数（total energy function） を表す。また、${\displaystyle \varepsilon _{knm}^{KN}}$ は、生成モデル（事前確率）と事後確率 との間の予測誤差 であり、時間とともに変化する^[45]。両モデル（SAIMとPE-SAIM）を比較すると、それぞれの結果の間に顕著な類似性が見られる一方で、際立った違いも浮かび上がる。具体的には、標準版のSAIMでは、モデルの焦点が主に興奮性結合に置かれているのに対し、PE-SAIMでは、抑制性結合を推論のために活用している。このモデルはまた、人間の実験から得られた EEG（脳波）および fMRI（機能的磁気共鳴画像）のデータを高精度で予測できることが示された。同様に、Yahya らは、自由エネルギー原理を適用し、主に SAIM に依拠する「潜在的選択的視覚注意（covert selective visual attention）」におけるテンプレートマッチング（template matching）の計算モデルを提案した^[46]。

この研究によれば、全状態空間の総自由エネルギー は、元の神経ネットワークにトップダウン信号を挿入することで達せられる^{[訳注 8]}。これにより、フィードフォワード（英語版）とフィードバックの両方の予測誤差を含む動的システムが導き出される。

能動的推論と最適制御

能動的推論 は、最適制御と関連する。この関連は、最適制御の価値関数やコスト関数を、状態遷移 または流れに関する事前信念に置き換えることで得られる^[48]。これは、ベイズフィルタリングと、ベルマン方程式 の解 との密接な関係を活用して行われる。　しかし、能動的推論 は、以下の 流れについての事前確率分布から始まる：

${\displaystyle f=\Gamma \cdot \nabla V+\nabla \times W}$

　これは、状態空間におけるスカラー関数${\displaystyle V(x)}$  およびベクトル関数${\displaystyle W(x)}$  で指定される（ヘルムホルツ分解　を参照のこと）。

　ここで、${\displaystyle \Gamma }$ はランダム変動の振幅を表し、コストは以下の式で定義される：

${\displaystyle c(x)=f\cdot \nabla V+\nabla \cdot \Gamma \cdot V}$ 。

流れ についての事前確率分布 ${\displaystyle p({\tilde {x}}\mid m)}$ は、次のような状態についての事前確率分布を誘導する ：

${\displaystyle p(x\mid m)=\exp(V(x))}$

　これは、適切な順方向コルモゴロフ方程式（英語版） の解となる^[49]。

対照的に、最適制御 はコスト関数を所与とし、以下の仮定のもとで流れを最適化する：${\displaystyle W=0}$（これは、流れは 渦なし場（英語版） または 詳細釣り合い を満たす事を示している）。通常、この方法では逆方向コルモゴロフ方程式 を解く必要がある^[50]。

能動的推論と最適意思決定（ゲーム）理論

最適決定（英語版）問題（通常、部分観測マルコフ決定過程 として定式化される）は、能動的推論 の枠組みにおいて、効用関数を事前信念に組み込むことで処理される。　この設定において、エージェントが期待するのは、高い効用（低いコスト）を持つ状態を占めること である。　生成モデル に、制御をモデル化する隠れ状態 を組み込むことで、変分自由エネルギーを最小化する方策（制御系列）は、高い効用を持つ状態に至る^[51]。

神経科学的に、ドーパミンなどの神経調節（英語版）物質 は、予測誤差を符号化する主細胞のゲインを調整することで、予測誤差の精度を伝達すると考えられている^[52]。これは、形式的には異なるものの、ある意味でドーパミン が予測誤差を伝達する役割^[53]や　関連する計算論的説明^[54]と密接に関連している。

能動的推論と認知神経科学Active inference and cognitive neuroscience

能動的推論は、認知神経科学、脳機能、および神経精神医学 におけるさまざまな問題に対処するために使用されてきた。これには、以下が含まれる：行動観察^[55]、ミラーニューロン^[56]、サッカード（英語版）（saccades）と視覚探索^[57][58]、眼球運動^[59]、睡眠^[60]、錯覚^[61]、注意^[44]、行動選択（英語版）^[52]、意識^[62][63]、ヒステリー^[64]、精神病^[65]。　能動的推論における行動の説明は、しばしば「頑固な予測（stubborn predictions）」 という概念に依存している。この予測は更新できず、結果として、これらの予測が実現するような行動を引き起こす という概念である^[66]。