Reframing the Expected Free Energy: Four Formulations and a Unification Unavailable

重構期望自由能：四種公式及其統一

https://direct.mit.edu/neco/article-abstract/38/3/439/135158/Reframing-the-Expected-Free-Energy-Four?redirectedFrom=fulltext

概述

一、研究背景與核心問題 本文聚焦于主動推理（Active Inference）框架中的核心目標函數——期望自由能（Expected Free Energy, EFE）。當前文獻中存在多種直觀上合理但形式各異的EFE公式（如“風險+模糊性”、“信息增益/語用價值”等），但這些公式多依賴直覺合理性，缺乏從單一數學根源統一推導的嚴謹基礎。本文正式提出并試圖解決這一“統一問題”（the unification problem），即如何從一個嚴格的EFE根定義出發，邏輯一致地還原所有現有公式。

二、兩種定義路徑的深度剖析 文章系統對比了定義EFE的兩條主流路徑，揭示了各自的優勢與理論邊界：

1. 基于觀測風險的路徑（Risk over observations + Ambiguity）
   • 特點：該設定目前缺乏嚴格的數學證明，但具有極強的公式覆蓋能力。若假設“目標分布的似然 T ( o ∣ s ) 等于生成模型的似然 P ( o ∣ s ) ”，則可從中推導出所有已知EFE公式。
   • 局限：在更一般的**部分可觀測馬爾可夫決策過程（POMDPs）**中，這一似然約束實際上嚴格限制了有效先驗偏好的集合。只有在似然映射“無損”的特殊條件下，觀測先驗偏好才能任意定義；一般情況下，僅有極少數先驗偏好能與生成模型的似然映射兼容。
2. 基于狀態風險的路徑（Risk over states + Ambiguity）
   • 特點：該路徑具備嚴格的數學根定義證明，理論根基扎實。
   • 局限：表達能力受限，僅能推導出兩種公式（狀態風險+模糊性、熵+期望能量），無法涵蓋“信息增益”等更廣泛的直觀解釋，犧牲了公式的多樣性以換取數學嚴謹性。

三、核心結論與理論意義

• 揭示核心權衡：本文明確指出EFE構建中存在**“數學嚴謹性”與“公式覆蓋度”之間的內在權衡**。兩條路徑無法同時滿足嚴格證明與全面推導，研究者在不同應用場景下需根據任務需求進行選擇。
• 統一條件：文章最終探討了文獻中實現EFE公式統一的潛在條件，指出只有在無隨機波動的系統語境下，結合自由能原理的特定假設，才可能真正實現多公式的理論統一。
• 領域貢獻：本研究為主動推理領域的理論基石提供了清晰的數學邊界與概念澄清，有助于消除現有文獻中的表述模糊性，指導研究者在強化學習、計算神經科學及機器人控制等場景中合理選擇EFE公式，并推動未來更嚴謹、更通用的主動推理算法設計。

摘要

主動推理是一種關于感知、學習和決策的過程理論，應用于神經科學、機器人學、心理學和機器學習等多個研究領域。主動推理依賴于一個稱為期望自由能的目標函數，該函數因其公式化表達（例如，風險加模糊性，以及信息增益/實用價值公式）在直覺上的合理性而被證明是合理的。本文旨在形式化地闡述從單一根期望自由能定義推導出這些公式化表達的問題——即統一問題。然后，我們分析了定義期望自由能的兩種方法。更準確地說，期望自由能要么被定義為（1）觀測風險加模糊性，要么被定義為（2）狀態風險加模糊性。在第一種設定下，迄今為止尚未提出對期望自由能的嚴格數學證明，但通過假設目標分布 T ( o ∣ s ) 就是生成模型的似然 P ( o ∣ s ) ，可以從中恢復出所有的公式化表達。重要的是，在此似然約束下，如果似然是無損的，則對觀測的偏好先驗可以任意定義。然而，在更一般的部分可觀察馬爾可夫決策過程（POMDP）情形下，我們證明似然約束實際上限制了有效觀測偏好先驗的集合。實際上，只有有限的一類觀測偏好先驗與生成模型的似然映射兼容。在第二種設定下，存在對根期望自由能定義的證明，但該設定僅包含兩種公式化表達：狀態風險加模糊性，以及熵加期望能量的公式。最后，我們討論了在文獻中，通過在無隨機波動系統的特定背景下訴諸自由能原理，已經提出了期望自由能公式化表達統一的條件。