貝葉斯置信傳播神經網絡:原生可解釋的可信類腦框架
Native Explainability for Bayesian Confidence Propagation Neural Networks: A Framework for Trusted Brain-Like AI
https://arxiv.org/pdf/2605.11595
![]()
![]()
![]()
摘要
歐盟《人工智能法案》(條例2024/1689)自2026年8月起全面適用于高風險系統,這對同時具備可信賴性、透明性,且能夠在資源受限的邊緣設備上可行部署的人工智能架構產生了迫切需求。基于貝葉斯置信傳播神經網絡(BCPNN)形式構建的類腦神經網絡已重新成為反向傳播驅動的深度學習的可信替代方案。它們提供了最先進的無監督表示學習、對神經形態計算友好的稀疏性,以及針對邊緣部署的現有FPGA實現。盡管有此發展勢頭,但目前仍缺乏用于解釋BCPNN決策的系統性框架——本文填補了這一空白。我們認為,在Rudin“設計即解釋”議程的意義上,BCPNN是一種內在透明的模型,其架構原語可直接映射到既有的可解釋人工智能(XAI)類別。本文作出四項貢獻。首先,我們提出了首個面向BCPNN的XAI分類體系。它將權重、偏置、超列后驗概率、結構可塑性使用評分、吸引子動力學以及輸入重構群體映射到歸因、原型、概念、反事實及機制解釋模式上。其次,我們引入了十六個架構級解釋原語(P1–P16),其中多個在標準人工神經網絡中沒有對應物。我們提供了閉式算法,用于從模型已維護的量中計算每一個原語。第三,我們引入了五個設計時的“配置即解釋”原語(Config-P1至Config-P5),將BCPNN超參數選擇視為可審計的部署前解釋工件。第四,我們勾勒了將其集成到工業物聯網部署中的路線圖,并討論了與歐盟《人工智能法案》的對齊、邊緣可行性以及對工業5.0的意義。
索引詞——可解釋人工智能,BCPNN,類腦神經網絡,神經形態計算,邊緣AI,歐盟《人工智能法案》,工業5.0,赫布學習,可解釋性,可信賴人工智能
I. 引言
物聯網(IoT)、人工智能(AI)與信息物理系統的融合正在重塑工業決策。歐洲工業5.0范式倡導一種以人為本、可持續且具有韌性的技術轉型,其中人工智能系統旨在增強而非取代人類專業知識[1]。這些系統必須在嚴格的能耗預算下于邊緣端運行,同時滿足日益增長的關于透明度的監管期望。歐盟《人工智能法案》(條例 (EU) 2024/1689)于2024年8月生效。第13條規定,高風險人工智能系統應“以使其運行足夠透明的方式進行設計與開發,從而確保部署者能夠解讀系統輸出并予以恰當使用”[2]。該法案將于2026年8月起全面適用于高風險系統。
這一監管時間線與兩項技術趨勢發生碰撞。一方面,深度學習模型已擴展至安全關鍵領域,同時除最復雜的事后分析外,它們對所有人而言仍然不透明[3], [4]。另一方面,神經形態計算與類腦計算已成熟為可行的替代方案,其原生實現了稀疏性、局部性與概率推理[5], [6], [7]。在這些方案中,貝葉斯置信傳播神經網絡(BCPNN)[8], [9], [10]脫穎而出。它基于貝葉斯推理,通過局部赫布規則進行學習,通過超列組織的軟勝者通吃(WTA)競爭產生稀疏分布式表示,并在亞瓦級能耗預算的商業FPGA上運行[7]。
盡管有此發展勢頭,目前仍不存在用于解釋BCPNN決策的系統性框架——本文填補了這一空白。
貢獻。我們認為,在Rudin“設計即解釋”議程[11]的意義上,BCPNN是一種內在透明的架構。每個權重均為逐點互信息,每個偏置均為對數先驗,每個超列輸出均為針對離散屬性的校準后驗概率,而稀疏的斑塊狀連接性則源于由互信息驅動的結構可塑性規則。因此,主流的可解釋人工智能(XAI)類別(歸因、原型、概念、反事實、機制)要么開箱即用,要么只需極小的適配即可得到支持。
? 原生XAI分類體系。我們提出了首個面向BCPNN的系統性XAI分類體系,該體系沿近期綜述[3], [12], [13]所確立的(范圍、階段、模型依賴性)軸進行組織。
? 十六個架構級原語。我們識別出十六個BCPNN專用的解釋原語(P1–P16),其中多個在標準人工神經網絡中無直接對應物。我們提供了閉式算法,用于從模型已維護的量中計算每一個原語。
? 配置即解釋。我們引入了五個設計時原語(Config-P1至Config-P5),將BCPNN的超參數選擇視為可審計的部署前解釋工件,從而能夠在訓練開始前生成符合歐盟《人工智能法案》第13條的合規文檔(第五節)。
? 路線圖。我們勾勒了將其集成至工業物聯網部署的路線圖,并包含與歐盟《人工智能法案》的對齊分析及邊緣可行性分析(第六節)。
本文結構如下。第二節回顧XAI分類體系與BCPNN形式體系。第三節呈現所提出的映射。第四節給出計算各架構級原語(P1–P16)的算法。第五節引入“配置即解釋”原語。第六節探討監管與邊緣部署的影響。第七節闡明開放性挑戰。第八節總結。
II. 背景與相關工作
A. 可解釋人工智能:類別與分類體系
現代可解釋人工智能(XAI)綜述在組織解釋方法的三個正交軸上達成共識:范圍(局部與全局)、階段(內在與事后),以及模型依賴性(特定模型與模型無關)[3], [4], [12], [13]。在這些軸內,五個方法家族在文獻中占據主導地位。
歸因方法為每個輸入特征分配一個重要性分數以進行預測;代表性方法包括SHAP [14]、LIME [15]、積分梯度 [16]、逐層相關性傳播 [17] 和 DeepLIFT [18]。也已開發出適配時間序列的歸因方法,結合LIME和Grad-CAM用于多變量信號[19]。
基于原型的方法通過與學習到的范例的相似性來解釋決策;ProtoPNet [20] 引入了“這看起來像那個”范式。
基于概念的方法將預測建立在人類可解釋的變量上。TCAV [21] 量化沿用戶指定概念方向的敏感性;概念瓶頸模型 [22] 在輸入和輸出之間結構上強制執行概念層,并引發了關于概念泄漏 [23] 的大量后續工作。
反事實解釋回答“什么輸入改變會改變決策?”;Wachter等人 [24] 將該方法建立在GDPR第22條的解釋權基礎上,歐盟《人工智能法案》的第13條進一步強調了其對高風險決策的相關性。
機制可解釋性將密集激活分解為稀疏的、單語義的潛在代碼。稀疏自編碼器 [25] 已成為從大型Transformer中檢索可解釋特征的主導工具,但它們計算量大且屬于事后方法。
該文獻中的一個反復出現的觀察是,對于高風險決策,內在的、特定模型的可解釋性優于事后的代理模型 [11], [22]。我們將BCPNN堅定地定位在這一陣營。
B. 貝葉斯置信傳播神經網絡
BCPNN起源于Lansner和Ekeberg對貝葉斯-赫布學習規則的推導 [8],并已被逐步擴展以支持吸引子動力學 [9]、生物物理細節 [10],以及在標準基準測試上具有競爭力的準確性的現代無監督表示學習 [5], [6]。近期在SpiNNaker [26]、FPGA [27], [7] 和嵌入式平臺上的神經形態實現已將BCPNN帶入邊緣部署不再僅僅是理論的領域,在嵌入式FPGA平臺上實現了亞瓦級推理 [7]。
架構。 一個BCPNN層被組織為 H 個超列,每個包含 M 個微列。在每個超列內,活動通過軟勝者通吃(soft-WTA)競爭進行歸一化,
![]()
![]()
![]()
公式 (2) 將偏置表達為突觸后微列的自信息(驚訝度)[5], [8], [9]。換言之,每個權重記錄了突觸前和突觸后微列是共激活高于隨機水平(正值)、統計獨立(零值),還是相互回避(負值)。這正是 SHAP 和 LRP 試圖通過昂貴的事后代理過程來估計的量;而 BCPNN 將其作為訓練的副作用精確計算出來。
![]()
![]()
![]()
混合架構。 為了實現模式補全、知覺競爭和抗失真能力,混合 BCPNN 在隱藏群體(HID)中添加了層內循環連接,并添加了一個反饋群體(INPRC)以從隱藏表示中重構輸入 [6]。循環動力學實現了基于吸引子的聯想記憶。
脈沖變體。 一種直接的脈沖翻譯 [6] 用泊松樣本替換了基于速率的激活,并引入了 z-trace(突觸前和突觸后脈沖的短期濾波)和 p-trace(長期概率估計),它們在期望上恢復了基于速率的學習規則,從而使得在神經形態硬件上的部署成為可能。
C. 相關架構的可解釋性
據我們所知,尚無已發表的研究為BCPNN提出系統性的XAI框架。最接近的相關工作包括:適配于脈沖神經網絡(SNN)的特征歸因方法[28], [29], [30];概念瓶頸模型[22],其架構模式與BCPNN的超列結構相匹配;以及基于稀疏自編碼器的機制可解釋性[25],其單語義特征在概念上與BCPNN的微列相呼應。近期關于以用戶為中心的XAI評估研究[31]進一步激勵了針對每個屬性進行因子化解釋的思路。我們從這三條研究路線中汲取靈感,同時充分利用了這樣一個事實:BCPNN的概率語義使得大多數適配工作變得不必要。
III. BCPNN的可解釋性分類體系
我們現在闡述本文的核心論點:BCPNN的每個架構元素同時充當原生解釋原語。表I總結了該映射關系;圖1提供了示意圖。
![]()
A. 為何BCPNN權重是解釋而非參數
在標準人工神經網絡(ANN)中,權重是一個不透明的標量,其解釋依賴于周圍網絡的狀態。在BCPNN中,公式(3)保證每個權重在構造上即為逐點互信息——對于高于隨機水平的共現為正值,對于獨立性為零值,對于負相關為負值[5]。由于逐點互信息正是SHAP [14]、LRP [17]和TCAV [21]試圖事后估計的量,BCPNN將其作為訓練的副作用直接計算出來,并且與作為對數先驗的偏置(2)相結合,支持計算可讀作貝葉斯對數似然更新[11], [24]。
B. 為何超列輸出解決了校準問題
標準ANN可解釋性中的一個持續問題是,softmax輸出通常并非概率;現代深度網絡系統性地表現出過度自信。在BCPNN中,公式(1)通過構造產生一個校準的離散后驗概率,因為軟勝者通吃(soft-WTA)動力學在BCPNN生成模型下實現了一個歸一化的似然比檢驗[8], [9]。因此,每個超列報告其自身的每屬性置信度,滿足《人工智能法案》第13條關于系統傳達“準確度水平”[2]的每屬性基礎要求。
C. 為何結構可塑性是內在特征選擇
![]()
D. 為何微列是原型
在每個超列內部,軟勝者通吃(WTA)競爭(1)確保了通常每個輸入僅由單個微列主導。每個微列在數據分布上的激活輪廓——即關于輸入狀態的調諧曲線——表現為一個學習到的原型,在無需任何輔助原型損失的情況下,實現了ProtoPNet [20] 的“這看起來像那個”語義。困擾概念瓶頸模型 [22], [23] 的概念泄漏問題被軟勝者通吃量化所抑制:未投射到主導微列的信息將被丟棄。
E. 為何吸引子動力學揭示了決策路徑
在混合BCPNN中,循環動力學讓網絡狀態從前饋驅動的初始估計演化為一個清晰的吸引子,而穿過狀態空間的軌跡(P8)本身即是一種解釋——一條漫長的振蕩路徑表明存在知覺競爭,而一條短促直接的路徑則表明高置信度。INPRC反饋群體(P9)提供了一個分布內生成式反事實——即“網絡認為輸入應該看起來像這樣”——在無需外部生成模型的情況下,滿足了Wachter等人 [24] 提出的反事實解釋要求。
IV.從BCPNN量計算解釋
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
V.配置即解釋:設計時的可信賴性
![]()
![]()
![]()
![]()
VI.討論:可信賴性、邊緣人工智能、工業 5.0
A. 與歐盟《人工智能法案》的對齊
歐盟《人工智能法案》第 13 條要求高風險人工智能系統具備足夠的透明度,以便部署者能夠“解讀系統輸出并予以恰當使用”,而第 14 條則要求有效的人類監督 [2]。BCPNN 原語直接映射到這些要求上:逐超列校準置信度(P3)支持“準確度水平”條款;結構可塑性圖(P4, P5)支持“能力與局限性”條款;反事實解釋(P9)和決策路徑診斷(P8)支持可爭辯性(contestability)[24]。“配置即解釋”原語進一步提供了部署前的審計追蹤(Config-P1, Config-P2, Config-P4),這是任何事后方法都無法產生的。因此,邊緣端的合規開銷極小。
B. 邊緣可行性
諸如 SHAP、LIME 和稀疏自編碼器等事后 XAI 流程通常在邊緣端不可行,因為它們需要重復的前向傳播、代理模型訓練或大量的額外內存 [14], [15], [25]。我們的框架增加了零運行時成本:每個量已經在推理過程中計算完畢。最新的嵌入式 FPGA BCPNN 加速器在嵌入式平臺上實現了亞瓦級推理 [7],因此我們的框架繼承了相同的能效特性。
C. 工業 5.0 與以人為本的人工智能
工業 5.0 強調人機協作優于自動化 [1]。BCPNN 的超列結構非常適合這一范式:每個超列對應一個人類可解釋的屬性,而逐超列的解釋沿著領域專家可以審計或否決的軸對決策進行分解。與單片的特征重要性向量相比,這種分解更緊密地鏡像了專家的推理過程。
D. 應用 vignettes(應用實例)
金融時間序列。 對于在金融指標上訓練的 BCPNN,Config-P1 直接聲明了一個本體——即在看到任何數據之前,針對 {波動率, 成交量, 動量, 價差, 情緒} 設置 H = 5 個超列。訓練后,P11(模塊化因子分解)產生逐屬性的對數證據(log-evidence);在一個說明性場景中,波動率超列可能對崩盤類別貢獻 +1.8 nats,而成交量超列貢獻 -0.3 nats。此類因子化解釋是可審計的,并且符合 EBA(歐洲銀行管理局)和 ESMA(歐洲證券和市場管理局)對自動化信貸和市場決策的期望,并且它們能與像 DeepVaR [33] 這樣的風險感知模型自然集成,后者已經消耗逐通道的情緒和波動率信號 [19]。向非技術利益相關者對話式地傳遞這些解釋已在 HumAIne-Chatbot 部署中得到展示 [34],而對 resulting workflow(結果工作流)的以用戶為中心的評估遵循 VirtualXAI [31] 的協議。
物聯網傳感與網絡安全。 對于多模態傳感器數據,結構可塑性圖(P4)揭示了網絡已學會依賴哪些傳感器通道,從而支持傳感器剪枝和故障診斷。相同的原語可遷移至網絡防御監控,其中逐通道證據分解已被證明能提高分析師的信任度和分診時間 [35]。
![]()
VII. 開放挑戰與未來工作
四重挑戰仍然存在。
(i) 擴展性與抽象性。 架構層面的原語在超列(hypercolumn)數量上呈線性關系,但對于深度BCPNN堆棧而言,解釋圖的人類可解釋性——包括P4/P5使用圖和P8吸引子軌跡——可能會下降;需要原則性的抽象層、概念層次結構以及Config-P2效率監控,以在規模化時保持解釋價值。
(ii) 忠實性驗證。 盡管每個原語都是從模型用于推理的量計算得出的,但應在完整規模的BCPNN系統上,與運行生產級BCPNN部署的合作伙伴共同測量形式化的忠實性指標。
(iii) 用戶研究。 解釋質量是一個人機交互因素問題 [36]。應與臨床和金融領域的領域專家進行對照研究,就決策時間、準確性和信任校準等方面,將每超列解釋與SHAP和LIME進行基準比較。
(iv) 新原語的經驗驗證。 原語P12–P16是分析推導得出的,但尚未在完整規模的BCPNN部署上針對標準基線進行基準測試;與維護大規模BCPNN系統的合作伙伴進行聯合驗證是直接的下一步工作。
VIII. 結論
我們論證了貝葉斯置信傳播神經網絡(Bayesian Confidence Propagation Neural Network, BCPNN)按其構造是一種"設計即可解釋"的模型,其架構原語直接對應于主流的可解釋人工智能(XAI)家族。我們提出了首個面向BCPNN的XAI分類法,將其結構元素映射到歸因(attribution)、原型(prototype)、概念(concept)、反事實(counterfactual)和機制(mechanistic)等模態。我們引入了十六個架構層面的解釋原語(P1–P16),其中若干在標準人工神經網絡中沒有對應物,每個原語均可從網絡已維護的量以閉式形式(closed form)計算得出。我們進一步引入了五個設計時的"配置即解釋"原語(Config-P1至Config-P5),將BCPNN的超參數選擇轉化為部署前的審計工件,在訓練開始之前即滿足歐盟《人工智能法案》第13條的文檔要求。我們勾勒了將其集成到工業物聯網部署中的路線圖,并進行了邊緣可行性分析與工業5.0對齊分析。綜上所述,這些貢獻為實現同時具備可信賴性、透明性,且在歐盟《人工智能法案》框架下可在邊緣側可行部署的AI系統提供了一條可信路徑。
原文鏈接:https://arxiv.org/pdf/2605.11595
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.