導語

為了系統梳理因果涌現最新進展，北京師范大學系統科學學院教授、集智俱樂部創始人張江老師領銜發起，邀請對復雜系統與涌現問題感興趣的研究者與同好共同研讀前沿文獻、碰撞科研靈感。

本周開啟第七季第七期，主題“部分信息分解與機器學習”。張新宇學者將從信息論與機器學習的交叉視角出發，介紹部分信息分解（PID）在多元高斯變量中的理論與計算方法。報告以 Venkatesh 與 Schamberg（2022）為核心，討論在高維連續變量情形下如何區分冗余信息、獨特信息與協同信息，并借助 Blackwell sufficiency 與 deficiency，將信息分解轉化為可計算框架，同時進一步聯系其在表示學習與多模態建模中的應用，回應一個關鍵問題：復雜模型中，不同信息源究竟是冗余、互補，還是通過協同產生新信息，從而為理解高維信息結構與因果涌現提供清晰思路。

報告簡介

本報告將以 Venkatesh 與 Schamberg 2022 年論文“Partial Information Decomposition via Deficiency for Multivariate Gaussians”為核心，討論部分信息分解，PID，如何在多元高斯場景下從理論概念轉化為可計算的信息分解工具。報告聚焦該論文所解決的關鍵問題：當目標變量和信息源都是高維連續向量時，如何正確區分冗余信息、獨特信息和協同信息。

早期 Gaussian PID 在標量目標變量下可以得到較簡單的 MMI-PID 形式，但 Venkatesh 與 Schamberg 指出，這一結果不能直接推廣到向量目標變量。為解決多元高斯情形下的信息分解問題，論文引入deficiency與Blackwell sufficiency，將獨特信息解釋為一個信息源無法通過后處理模擬另一個信息源的程度，并進一步構造出可計算的優化框架。

通過這篇論文，本報告將展示多元高斯 PID 如何為高維機器學習表示中的信息結構分析提供理論基礎，并簡要討論其后續在bias correction、多模態交互分析以及 Flow-PID 等方向中的最新進展。

分享大綱

• 問題引入：互信息為什么不足以解釋模態交互？

• • 互信息的局限性

  • PID如何對機器學習的數據進行刻畫

• 核心挑戰：為什么標量高斯PID不能直接推廣到多元高斯？

• • MMI-PID: 標量高斯PID求解與局限

  • Blackwell sufficiency：信息源之間的可替代性

  • Deficiency：無法完全替代時，如何度量差距

• 計算方法：如何把多元高斯 PID 轉化為可求解的問題？

• • Gaussian post-processing：如何構建一個信息源對另一個信息源的最優匹配

  • Convex deficiency approximation：如何將無限維隨機后處理問題轉為凸優化問題

• 最新進展：從高維多元高斯到多模態機器學習

• • 高維多元高斯 PID 與bias correction

  • 多模態交互分析

  • Flow-PID：從多元高斯PID到非高斯多模態數據

核心概念

多元高斯變量、互信息、部分信息分解（PID）、MMI-PID、Blackwell sufficiency、Deficiency、多元高斯 PID 的計算框架

主講人介紹

主講人：張新宇，阿爾托大學信息與通信工程在讀博士生。研究興趣包括光通信與信號處理、機器學習，信息論及相關交叉學科方向。

參考文獻

[1] Venkatesh, P., & Schamberg, G. (2022). Partial Information Decomposition via Deficiency for Multivariate Gaussians. IEEE International Symposium on Information Theory (ISIT).

[2] Barrett, A. B. (2015). Exploration of synergistic and redundant information sharing in static and dynamical Gaussian systems. Physical Review E, 91, 052802.

[3] Banerjee, P. K., Olbrich, E., Jost, J., & Rauh, J. (2018). Unique Informations and Deficiencies. Allerton Conference on Communication, Control, and Computing.

[4] Venkatesh, P., Gurushankar, K., & Schamberg, G. (2023). Capturing and Interpreting Unique Information. IEEE International Symposium on Information Theory (ISIT).

[5] Venkatesh, P., Bennett, C., Gale, S., Ramirez, T. K., Heller, G., Durand, S., Olsen, S., & Mihalas, S. (2023). Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data. Advances in Neural Information Processing Systems, 36.

[6] Zhao, W., Balachandran, A., Tian, C., & Liang, P. P. (2025). Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions. In Advances in Neural Information Processing Systems, NeurIPS 2025.

時間信息

2026年5月5日（周二）上午10:00-12:00，騰訊會議線上進行，感興趣的朋友掃碼報名加入因果涌現讀書會后，可進入學員群進行交流。

報名讀書會：「因果涌現第七季」

為系統梳理因果涌現領域的最新進展，北京師范大學系統科學學院教授、集智俱樂部創始人張江老師領銜發起，組織對該主題感興趣的研究者與探索者共同研讀前沿文獻、交流研究思路。讀書會將于2026年2月22日起每周日上午（創建讀書會暫定時間為10:00-12:00）線上開展，持續約10周，包含主講分享與討論交流，并提供會后視頻回放，誠邀相關領域研究者及跨學科興趣者參與。

掃描海報中二維碼報名參加讀書會

報名方式：

第一步：微信掃碼填寫報名信息。

第二步：填寫信息后，付費報名。如需用支付寶支付，請在PC端進入讀書會頁面報名支付：

第三步：添加運營助理微信，拉入對應主題的讀書會社區（微信群）。

PS： 我們鼓勵圍繞因果涌現、復雜系統與人工智能及相關具體問題的深入探討。為保證討論質量，請避免發表脫離本期讀書會主題、缺乏實證基礎或過于空泛的哲學思辨類內容。

加入社區后可獲得的資源

完整權限包括：線上問答、錄播回看、資料共享、社群交流、信息同步、共創任務獲取積分等。