主動推理基礎：自由能原理的原理、算法和應用（面向工程師）

Fundamentals of Active Inference: Principles, Algorithms, and Applications of the Free Energy Principle for Engineers

https://www.amazon.com/Fundamentals-Active-Inference-Principles-Applications/dp/0262050951?asin=0262050951&revisionId=&format=4&depth=1

引言

主動推斷（AIF）框架是一種原則性方法，用于建模大腦，或者更一般地說，用于建模具有大腦（或類腦器官）的生物體與其環(huán)境之間的相互作用。該框架由著名神經(jīng)科學家卡爾·弗里斯頓及其眾多合作者于2000年代中期至今開發(fā)，已成為計算神經(jīng)科學領域極具影響力和重要貢獻的理論。它還催生了一個更廣泛、更具雄心的領域，稱為貝葉斯力學，該領域超越了大腦及人類/動物行為的建模，旨在提供一種基于物理學的自組織系統(tǒng)描述。本書僅簡要提及貝葉斯力學，其完整內(nèi)容與闡述將留待我后續(xù)關于該主題的專著中呈現(xiàn)。無論是AIF還是貝葉斯力學的核心機制，都是本書中將遇到的一個統(tǒng)一原理——自由能原理——的具體應用。

在過去十年中，我們見證了人工智能（AI）系統(tǒng)領域興趣與投資的爆炸式增長。這些系統(tǒng)如今已滲透到我們?nèi)粘Ｉ畹脑S多方面，成為我們?nèi)粘＝换ゼ夹g的核心組成部分，并從根本上改變了許多行業(yè)的面貌。這些進步主要歸功于基于深度學習的AI系統(tǒng)日益普及和高效。最近，大型語言模型的出現(xiàn)進一步激發(fā)了對AI系統(tǒng)前景與潛力的更大興趣。

本書將探討AIF——一種與基于深度學習的AI系統(tǒng)正交的方法——如何用于建模、描述和設計能夠與其環(huán)境交互并適應的硅基或現(xiàn)實生活中的機器人實體。AIF扎根于計算神經(jīng)科學，利用機器學習與貝葉斯統(tǒng)計的語言，提供了一種受生物學啟發(fā)的生命系統(tǒng)描述。

什么是主動推斷？

從歷史上看，AIF起源于弗里斯頓及其合作者在1990年代早期開發(fā)的一套神經(jīng)影像工具和軟件的核心統(tǒng)計方法，即統(tǒng)計參數(shù)映射（SPM）。1 到2003年，該軟件套件還包含了動態(tài)因果建模（DCM），這是一種為理解實驗環(huán)境中的神經(jīng)元動態(tài)而開發(fā)的方法。該方法使用非線性狀態(tài)空間模型，包括一個關于神經(jīng)活動如何隨時間變化的狀態(tài)轉移模型，以及一個描述不同神經(jīng)狀態(tài)變化如何導致數(shù)據(jù)生成的觀測模型，這里的數(shù)據(jù)是指通過功能性磁共振成像（fMRI）腦成像設備測量的血氧水平。DCM提出了一種方法，用于理解在實驗任務響應中，大腦不同區(qū)域的神經(jīng)活動與血氧水平之間如何相互關聯(lián)。DCM的核心方法后來影響了連續(xù)狀態(tài)空間中早期AIF的表述，該表述建立在預測編碼等早期神經(jīng)科學領域的基礎上，并整合了著名的貝葉斯大腦假說。

主動推斷涉及對一個具有適應能力的人工有機體（即智能體）及其所耦合的環(huán)境進行建模。在此語境下，智能體一詞通常指任何能夠被動確定其環(huán)境狀態(tài)（感知）并隨著環(huán)境隨時間演變而主動參與并改變環(huán)境（行動）的系統(tǒng)（無論是模擬系統(tǒng)還是生命系統(tǒng)）。這樣一來，智能體既指自然的生物智能體，也指模擬的智能體。在本書中，出于實用目的，我們常使用模擬智能體作為生物體大腦和身體的隱喻，同時也作為一種建立直觀理解的方式。環(huán)境一詞含義廣泛，且會根據(jù)所建模的系統(tǒng)類型而變化。在某些情況下，環(huán)境可能是受限的，只有少數(shù)可訪問的狀態(tài)（例如一個只能處于開或關狀態(tài)的電燈開關）；而在另一些情況下，環(huán)境可能非常龐大，例如我們?nèi)粘；拥奈锢硎澜纭４笾聛碚f，環(huán)境可以被視為智能體之外的一切事物，包括其他智能體——這些智能體也是該智能體可以感知和作用的對象。

主動推斷為有機體如何在環(huán)境中進行感知和行動提供了獨特的視角。人們可能會持傳統(tǒng)觀點，認為生物智能體通過其感官自下而上地重建周圍環(huán)境的所有細節(jié)來進行感知。雖然這種觀點很有吸引力，但神經(jīng)科學和心理學中越來越多的證據(jù)表明，這并非事情的全貌。從零開始重建環(huán)境以確定其如何隨時間變化，代價是高昂的，尤其是在高度動態(tài)的環(huán)境中，快速決策可能是為了生存而優(yōu)先考慮的事項。相反，主動推斷提出，智能體始終處于一個持續(xù)的預測過程中，有時稱為統(tǒng)計推斷，在此過程中，智能體對環(huán)境的真實狀態(tài)形成假設或預期。這一過程是貝葉斯大腦假說（我們將在第1章探討）以及許多基于無監(jiān)督學習的機器學習方法的關鍵。

這種性質(zhì)的預測是高效的。雖然環(huán)境可能隨時間頻繁變化，但環(huán)境中存在許多相對固定的規(guī)律性和特征。其中一些規(guī)律性是基本概念，例如空間和時間以及適用于它們的物理定律。舉例來說，未來總是跟隨現(xiàn)在/過去之后，兩個固體物體不能同時占據(jù)同一空間。這些規(guī)律性很可能深深嵌入在生物智能體的知識中，也許編碼在其DNA中。其他規(guī)律性包括對我們自身行為（習慣、欲望、需求）、他人行為（社會期望與習俗、文化）以及我們所居住、穿行或互動的空間（交通信號燈/人行橫道、家庭、法律、金錢）的預期。用貝葉斯推斷的術語來說，我們將這種關于環(huán)境或智能體自身性質(zhì)的、預先存在或假定的信息稱為 先驗 。這些先驗編碼了關于環(huán)境將如何隨時間變化的模型，為智能體如何感知環(huán)境的信念提供了基礎。換句話說，先驗信息會告知智能體對環(huán)境性質(zhì)的預期或預測，只有當智能體在下一時刻通過感官感知到環(huán)境的實際狀態(tài)時，這些預期才會得到確認。這種方法之所以高效，是因為花費時間去重建環(huán)境中那些有規(guī)律且可預測的元素是浪費的，而且這些先驗信息可以在感知過程中被快速利用。

這一思想的關鍵在于，智能體只能接觸到自身與環(huán)境之間界面上的信息——即感覺上皮——并且必須僅利用這些感覺信息來確定環(huán)境的狀態(tài)。重要的是，從人工或自然智能體的感覺系統(tǒng)源源不斷傳入的數(shù)據(jù)，使其能夠計算出一個誤差信號，即 預測誤差 ——當預期與現(xiàn)實不符時就會出現(xiàn)這種誤差——這使智能體能夠調(diào)整自身信念以與現(xiàn)實相匹配。當智能體改變某個信念或預期時，我們常說它“更新了其所處環(huán)境的統(tǒng)計模型”，或者更非正式地說，它“改變了它的信念”。通過這種方式，智能體的體驗是對現(xiàn)實樣貌的一種內(nèi)部模擬的預期，而這種預期會受到來自物理世界的感覺信號的修正。然而，在某些情況下，這種預期可能會主導智能體對現(xiàn)實的看法，甚至覆蓋感覺信號。例如，多項研究中，葡萄酒專家被要求對用食用色素染成紅色的白葡萄酒進行風味分類（Shankar et al., 2010; Morrot et al., 2001; Parr et al., 2003）。品酒師們常常用紅葡萄酒特有的風味來描述這類葡萄酒，而非白葡萄酒的風味。這表明，在某些情境下，他們基于先驗信念（紅色的酒意味著它是紅葡萄酒）所形成的預期，影響甚至覆蓋了他們對環(huán)境的感覺體驗（舌頭品嘗到的白葡萄酒風味）。類似效應在行為心理學中已有充分研究和文獻記錄。這些研究以及來自神經(jīng)科學的其他證據(jù)強烈表明，我們在世界中的 體驗 在很大程度上是由我們對感覺信號的預期（先驗信念）所驅動或生成的，而不是由感覺信號本身所構成的體驗。

然而，一個真正的主動推斷智能體并非僅僅以這種方式被動感知。相反，這類智能體還具備改變環(huán)境以使其符合自身預期或預測的能力。當環(huán)境與我們的預期不符時，采取行動并改變環(huán)境狀態(tài)的能力意味著我們也可以使環(huán)境符合我們對它的預期，從而減少我們的感覺預測誤差。有趣的是，這表明，從隱喻的角度來說，“欲望”或驅動力等概念與預測或預期有著根本性的聯(lián)系。一個智能體“想要”或“相信”什么，直接關聯(lián)到它對世界應該是什么樣的預期。智能體可以通過采取行動來改變環(huán)境，或者通過改變自身的欲望或信念以匹配環(huán)境，來實現(xiàn)這些欲望；無論哪種方式，都會減少感覺預測誤差。從這個意義上說，可以將智能體在環(huán)境中的存在解讀為一種自我實現(xiàn)的預言。更正式地講，這個過程可以視為一種穩(wěn)態(tài)或反饋控制。

這些關于行動與感知本質(zhì)的看似簡單（卻驚人深刻）的思想——與預期和預測誤差的概念相聯(lián)系——將構成本書探討的方法的基礎。需要注意的是，前述關于主動推斷的視角依賴于對環(huán)境和智能體本質(zhì)的統(tǒng)計解釋，即它們在一個界面上相互作用，這個界面正式稱為馬爾可夫毯。正如我們將看到的，這意味著主動推斷可以用精確的統(tǒng)計（數(shù)學）語言來描述，從而使我們能夠開發(fā)、設計并測試主動推斷智能體在其環(huán)境中交互、適應和生存的能力。這是主動推斷方法的一個主要優(yōu)勢。盡管關于主動推斷的本質(zhì)及其能力/應用存在許多哲學解釋，但其核心理論植根于統(tǒng)計語言，特別是機器學習（貝葉斯推斷），這使得我們能夠通過仿真或現(xiàn)實世界中的機器人技術來檢驗主動推斷的預測和主張。

主動推理，自由能原理， 和貝葉斯力學

雖然本書的主要關注點是AIF，但我們很快就會看到弗里斯頓提出的一個基本思想——即自由能原理（FEP；FEP將在本書中反復出現(xiàn)，但其最詳細的定義見第4章和第14章）所發(fā)揮的重要作用。此外，貝葉斯力學——一個在過去十年中從AIF研究中涌現(xiàn)出來的相關領域——正在逐漸成熟并形成自身的體系。盡管經(jīng)常被混為一談，但AIF、FEP和貝葉斯力學代表了不同且獨立（但高度相關）的思想。我們在此花點時間澄清這些不同術語，并提供描述性的工作定義，隨著本書的推進，這些定義將被細化和形式化（見圖0.1）。

概括而言，這三個術語都關注智能體（無論是生物的還是人工的）與其環(huán)境之間的關系。如前所述，這樣的智能體是預測性的和主動性的。它們被對自身所耦合的環(huán)境的期望所驅動，當期望未被滿足時，它們會調(diào)整并改變信念或環(huán)境。弗里斯頓提出了兩條理解生命系統(tǒng)預測性質(zhì)的不同路徑，即低路與高路的劃分。低路是AIF的視角，它試圖“追求由康德和亥姆霍茲確立的議程——以一種自下而上的方式——推廣推理和預測的能力，以看看它能將我們理解與環(huán)境的具身體驗交換帶到多遠”（Friston, 2019a, p. 75）。

相比之下，高路是貝葉斯力學的視角，它“代表了一種自上而下的方法，從詢問關于事物如果存在就必須具備的必要屬性的基本問題開始。利用數(shù)學（變分）原理，人們可以進而表明，存在是一個生物與其環(huán)境之間的具身體驗交換——這必然包含預測性處理，作為自我證明力學的一個方面”（Friston, 2019a, p. 75）。

低路與高路之間的二分法是一個隱喻性框架，它將本書（關于AIF）與我即將出版的關于貝葉斯力學的著作區(qū)分開來。具體而言，貝葉斯力學（Ramstead et al., 2023）始于物理學家埃爾溫·薛定諤在其1944年出版的《生命是什么？》（Schr?dinger, 1944）一書中提出的一個問題：“在生命有機體的空間邊界內(nèi)發(fā)生的時空事件，如何能夠用物理學和化學來解釋？”

未完。。。。。。。