半個世紀以來最重要的概率論著作之一，在AI時代更顯思想鋒芒

概率論是一門抽象而工具化的數學分支，而在杰出物理學家杰恩斯筆下，它被詮釋為一種“科學的邏輯”——處理不確定性、作出理性判斷的普遍方法。

這部凝聚其一生思考的《概率論沉思錄》是客觀貝葉斯主義的集大成之作，深刻影響了學界。如今隨著人工智能與機器學習的興起，他的工作再次顯露其深遠價值。

撰文 | 廖海仁

一

物理學家杰恩斯生平

埃德溫·湯普森·杰恩斯，1922年7月5 日出生于美國艾奧瓦州滑鐵盧市，父親是一名外科醫生。他先后就讀于康奈爾學院與艾奧瓦大學，1942 年獲物理學學士學位。幼年喪父的他繼承了父親留下的大量藏書與一架鋼琴，這兩份遺產滋養了他終身的學術追求與音樂熱忱。畢業后，他投身微波理論與應用研究，先任職于斯佩里陀螺儀公司，后以美國海軍軍官身份供職于華盛頓特區海軍研究實驗室。退役后，他赴加州參與首臺直線電子加速器設計，同年入讀加州大學伯克利分校研究生院。1947 年轉入普林斯頓大學，在尤金·維格納 (1963 年諾貝爾物理學獎得主) 指導下研究鐵電性，1950 年獲博士學位，其博士論文修訂版由普林斯頓大學出版社作為“物理學研究叢書”首卷出版。此后十年，杰恩斯任教于斯坦福大學微波實驗室及物理系。1960 年受聘為圣路易斯華盛頓大學資深教授，除短期訪學外，余生皆在此執教。

圖1數學物理學家杰恩斯(Edwin Thompson Jaynes,1922-1998),熱力學最大熵解釋以及量子光學的Jaynes-Cummings模型提出者，臨終留下一本概率論經典著作《概率論:科學的邏輯》

杰恩斯的思想疆域跨越物理學內外多個領域，主要成就集中在四大方向：經典電動力學應用、信息論與統計力學、量子光學及新經典輻射理論、概率論與統計推斷。這些開創性研究多具爭議性，部分至今仍是學術焦點。1957 年，他發表了運用信息論詮釋統計力學的論文《信息論與統計力學》，提出以最大熵原理結合先驗約束推導吉布斯概率分布，將統計力學重構為基于部分信息的統計推斷體系。盡管《物理評論》頂住審稿人的反對意見刊發此文，“主觀派”與“客觀派”的論戰由此綿延數十年。其理論因開拓非平衡統計力學及跨學科最大熵應用而日益獲得認同。1963 年，杰恩斯與其指導的博士生弗雷德·卡明斯在《Proceedings of the IEEE》上發表了論文《量子與半經典輻射理論之比較及其在光束微波激射器中的應用》，提出了后來著名的Jaynes-Cummings 模型。杰恩斯堅持認為統計物理與量子理論的核心困境源于將概率誤認為是客觀物理量而非系統信息的表征——混淆了本體論與認識論的界限。與愛因斯坦相似，他拒斥量子力學的哥本哈根詮釋及其神秘主義傾向。以上兩篇論文現在被認為是杰恩斯最重要的學術貢獻：其中1957 年發表的運用信息論闡釋統計力學的論文 (包含兩篇系列文章)，其引用量迄今已逾18 000 次；而1963 年提出的Jaynes-Cummings 模型的論文，引用量也超過7 800 次，無論哪一篇都堪稱經典。然而，據杰恩斯晚年回憶，這兩項開創性工作在發表后都曾長期被忽視：1957 年的論文直到1977 年才有哲學家開始吹毛求疵地討論其哲學意義；而1963 年的論文則在沉寂二十年后，于1983 年突然成為量子光學領域被引用最頻繁的文獻之一，并被奉為該領域的奠基之作。杰恩斯本人甚至由此總結出一條“20年定律”——其重要工作的價值，往往需要等待二十年后方得彰顯。

杰恩斯將拉普拉斯、貝葉斯、杰弗里斯、波利亞、考克斯及香農的思想熔鑄為現代概率推理體系。因主流期刊經常拒稿，其諸多精妙論述多見于會議論文集，包括經典文獻《大腦如何進行合情推理》(原為1959 年斯坦福微波實驗室報告，1960 年投稿時被拒)。1993 年劍橋大學出版社出版的《概率與物理學：杰恩斯紀念文集》系統總結了他對統計推斷領域的革命性影響。1998 年4 月30 日，杰恩斯在圣路易斯與世長辭。他家里留下一架價值十萬美元的貝森朵夫三角鋼琴以及數百盤自己演奏的各類古典音樂家作品的錄音帶。他的藏書逾千冊，涵蓋統計學、物理、音樂、化學、生物、歷史及哲學等多個領域。這位年輕時曾考慮成為職業鋼琴演奏家的物理學家，臨終前請求他的學生兼同事G. 拉里·布雷特索斯特幫忙完成并出版自己的未竟之作。然而，布雷特索斯特思考再三，決定不對書稿進行內容補充，因為他認為那樣該書將不再是杰恩斯的獨立著作，而是合著作品，并且難以區分各自貢獻。他只對原作進行編輯整理，刪除了其中現在看來晦澀難懂的BASIC計算機程序，補充了一些參考資料，并予以出版。該書2003 年由劍橋大學出版社正式出版，英文書名為《概率論：科學的邏輯》(Probability Theory: The Logic of Science)。但是，即使在該書正式出版之前，其在線預印本早已成為科學界的傳閱經典。2009 年，人民郵電出版社推出杰恩斯概率論遺著的英文影印版，并定名為《概率論沉思錄》。2024 年6 月，《概率論沉思錄》中文版作為“圖靈數學經典”系列第15 本由人民郵電出版社出版。

圖2 E.T.杰恩斯的《概率論沉思錄》三個版本，分別為2003年劍橋大學出版社的英文原版、2009年人民郵電出版社的英文影印版以及2024年人民郵電出版社的中文版

二

別具一格的《概率論沉思錄》

《概率論沉思錄》英文版出版后受到眾多專業人士的關注、贊譽和推薦。二十余年過去，這本著作在谷歌學術的引用量已逾9000 次；機器學習專家凱文·墨菲在其編寫的著名教材《機器學習：概率視角》(Machine Learning: A Probabilistic Perspective, MLaPP) 第2 章推薦的三本優秀教材中，首推此書；伊恩·古德費洛等所著的《深度學習》(被譽為AI 圣經) 第3 章“概率論和信息論”推薦的擴展閱讀概率論書籍中，首先推薦的也是這本書。

杰恩斯留下的這本《概率論沉思錄》是別具一格的。當今市面上各種概率論著作或教材何止千百，但真正稱得上原創性思想巨著的卻不多。柯爾莫哥洛夫的《概率論基礎》、凱恩斯的《論概率》、威廉·費勒的兩卷本《概率論及其應用》、杰弗里斯的《概率論》、德菲內蒂的兩卷本《概率論》都可位列其中。杰恩斯的這本書同樣堪稱思想巨著，西方有學者贊譽其為“半個世紀以來最重要的概率論著作之一”，恐怕并不為過。它是作者經過四十年積淀的畢生心血之作。其特別之處在于：

提供了獨特的概率論科學視角：作者杰恩斯是一名杰出的物理學家，卻在臨終時留下這本概率論“數學”著作，因此又被公認為是一位數學物理學家。自柯爾莫哥洛夫完成概率論的數學公理化以來，概率論主要被視為一門數學。然而，概率論的數學公理化源于著名數學家希爾伯特在 1900 年提出的 23 個待解數學問題中的第 6 問題，其目標是：“以公理化的方式處理數學在其中發揮重要作用的自然科學，首先是概率論和力學”。這表明，至少在希爾伯特時代，概率論如同力學一樣，仍被視為一門“自然科學”。其科學身份也可從“大數定律”的內容中窺見。即便在數學化之后，幾乎所有概率論教材仍保留并數學地證明源于傳統的“大數定律”。經過數學證明的顯然應是“定理”，為何仍被稱為“定律”呢？“牛頓定律”屬于物理學，“大數定律”如何是數學？這涉及將概率論視為自然科學還是數學的問題。“大數定律”是人類在概率論公理化之前，從可重復隨機實驗中觀察到的“自然規律”，后來的“數學證明”依賴于特定的數學定義，且證明中涉及的極限頻率是不可觀察的理想化對象。因此，數學上證明的“大數定理”是純數學定理，與自然無關；而“大數定律”則可在一定誤差范圍內通過實驗驗證。或許更全面的認識是：理解概率論，數學與科學兩種視角都必不可少。目前，絕大多數概率論書籍沿襲柯爾莫哥洛夫的數學思路發展。威廉·費勒的兩卷本《概率論及其應用》堪稱數學概率論方向的巔峰之作。而杰恩斯的《概率論沉思錄》則是科學概率論方面的典范之作。這是本書極其重要且獨特的原因之一。

本書是客觀貝葉斯主義的集大成之作：雖然概率論自公理化以來，在數學上基本一致，但是對于概率的解釋卻存在諸多不同流派。大體可分為頻率派 (客觀派) 和貝葉斯派 (主觀派)。細分則有頻率派、邏輯派、客觀貝葉斯派、主觀貝葉斯派等。頻率派認為概率是客觀存在的物理屬性，將其定義為可重復事件的長期頻率，代表人物包括費勒、克拉默等。主觀貝葉斯派將概率視為理性主體對命題的信念程度，認為概率本質上是主觀的，不同主體對同一命題的概率評估可以不同且不可比，只要個人評估保持連貫性即可，代表人物有德菲內蒂、薩維奇和拉姆齊。邏輯派將概率視為命題之間的一種邏輯關系，即 P(H|E) 衡量給定證據 E 前提下假設 H 為真的邏輯支持程度，代表人物有經濟學家凱恩斯和哲學家卡爾納普。而客觀貝葉斯派雖然也認為概率是主體對命題的信念程度，但強調先驗的不同源于個體所掌握信息的差異，且先驗概率的確定并非隨意，必須遵循客觀原則 (如無差別原則或最大熵原理)。根據相同的先驗信息與數據證據，所得的概率是一致的。杰弗里斯與杰恩斯都可視為客觀貝葉斯主義的代表人物。但他們的客觀貝葉斯主義在某種意義上融合了邏輯派的觀點：一方面，他們將概率論視為歸納推理的定量理論；另一方面，他們持典型的客觀貝葉斯主義觀點，將概率視為個人的“合理信念度”。尤其在杰弗里斯概率論與科學推斷理論基礎上繼承和發展的杰恩斯的《概率論沉思錄》，堪稱客觀貝葉斯主義的集大成之作。本書絕大多數內容不屬于傳統概率論的范疇，更多涉及概率推斷。不過，將統計推斷歸入概率論范疇正是典型的貝葉斯主義觀點。頻率派統計與貝葉斯統計之爭是20世紀統計學界的主線。在差不多整個 20 世紀，頻率派都處于強勢地位 (故稱“正統統計”)，一般統計推斷教材介紹的也基本是頻率派方法。在這場爭論中，杰恩斯是一位堅定強硬的貝葉斯主義者。他對正統頻率派統計的批評及對貝葉斯主義的辯護貫穿全書。相信絕大多數讀者在看過本書近乎無可辯駁的論辯后，或多或少會轉化為某種程度上的貝葉斯主義者。

本書同時是科學哲學書、邏輯學書甚至生活智慧書：本書核心思想是將概率論視為布爾邏輯與傳統亞里士多德邏輯的擴展。在此框架下，布爾邏輯僅是概率邏輯的一種特例。傳統數學以演繹邏輯為基礎，而概率論則可作為科學推斷的理論基礎。作為擴展邏輯的概率論，是融合歸納與演繹推理的統一理論。休謨問題 (主要是因果問題和歸納問題) 是哲學基本問題之一，已被討論數百年，至今仍被視為科學哲學的核心難題。金岳霖先生在其主要著作《知識論》中亦有章節論及歸納與因果，但那遠在杰恩斯著作出版之前。卡爾·波普爾著有《科學發現的邏輯》，魯道夫·卡爾納普著有《概率的邏輯基礎》，都對概率論與歸納問題有深入討論。卡爾納普、波普爾在科學哲學界聲名顯赫，其關于歸納邏輯和科學推斷的理論在哲學界地位也非常重要。但在本書中，杰恩斯對他們的某些觀點進行了毫不客氣的批評，認為他們在某種程度上都患有“哲學家的職業病”。有人說，不能改善人生活質量的書不能算好書。我大致認同這一觀點。一般的數學甚至科學書對改善生活的作用是間接的。本書對特異功能、保險原理、意見分歧等都有深刻獨到的分析。若能掌握本書的概率論思維方式，的確可能提升面對日常問題的決策能力，改善生活質量。

三

思想淵源與內容簡介

在《概率論沉思錄》的前言中，杰恩斯談到該書的思想淵源除了 20 世紀前的貝葉斯、拉普拉斯等外，主要有四個：杰弗里斯的《概率論》、考克斯定理、香農的信息論以及波利亞的合情推理思想。

作者將此書獻給并紀念杰弗里斯，可見杰弗里斯的概率論思想對他的影響。杰弗里斯的《概率論》第一版發表于 1939 年，與柯爾莫哥洛夫的概率數學公理化著作幾乎同時。他在八條指導原則、三條約定和八條公理基礎上發展概率論，其公理體系看似比柯爾莫哥洛夫公理復雜很多，但是一開始就將自己的理論與進行科學推斷以及現實應用聯系起來。他提出其概率論旨在發展一種根據觀測數據進行推斷的自洽且實用的方法。杰弗里斯是客觀貝葉斯主義的前驅。他指出，我們平常所說的“均勻先驗”缺乏“客觀性”，因為在參數變換時可能變得不均勻。因此，他提出“不變性原則” (先驗分布應在參數變化下保持形式不變)，并在此基礎上構建真正客觀的“無信息先驗” (杰弗里斯先驗)。杰恩斯對于概率的定義以及先驗概率必須具有客觀性等思想均與杰弗里斯一致，不過他發展了更多的將先驗信息唯一地轉化為先驗概率的方法，最重要的是最大熵方法和變換群方法。

波利亞在 1954 年出版的《數學與猜想：合情推理模式》是一本流行至今的數學科普名著。該書對于類比和歸納推理的定性規則做了很多舉例與說明。但當作者試圖使用概率論來定量化描述歸納推理邏輯時，認為存在不可克服的困難：作者試圖估計牛頓定律可靠的概率，但在正確預測了一些罕見事實后，作者認為其可靠性至少應該提高上萬倍！這樣，在未作預測時，牛頓定律可靠的概率就不會超過萬分之一。作者認為這是不可接受的，因此不可能應用概率論來發展歸納推理的定量理論。杰恩斯對產生此困難的原因進行了解釋：作者實際上是在做模型比較，根據貝葉斯理論，在模型比較時需要明確指明備擇模型，談論一個模型或者假設的絕對概率是沒有意義的，因此作者實際計算的牛頓定律相對另一模型的相對幾率而非絕對概率。解決此疑難之后，波利亞的合情推理定性理論就可以應用概率論向定量理論發展。這其實正是考克斯定理的內容。考克斯在 1946 年在《美國物理學雜志》上發表的論文《概率、頻率與合理信念》中指出：如果合情程度由實數表示，而且在滿足必須與傳統邏輯一致以及一些基本理性要求的條件下，只有唯一一套用于推斷的定量規則，這套規則正是標準概率論法則。

香農于 1948 年發表的《通信的數學理論》是信息論領域的奠基性文獻，標志著現代信息論的誕生。該論文的核心貢獻是使用嚴格的數學框架量化“信息”，并解決了通信中的基本問題：如何在存在噪聲的通道中高效、可靠地傳輸信息? 杰恩斯對香農信息論的主要借用是其信息熵的概念，因為信息熵是“不確定性大小”的客觀度量。他正是在這一概念的基礎上提出了最大熵原理，并將其應用在統計力學的新闡釋的論證上，并證明了香農的信息熵與傳統物理熱力學上的熱力學熵的一致性。

《概率論沉思錄》全書共 22 章，總體分為原則與初級應用和高級應用兩大部分，但是其實內容比較龐雜，很難系統描述其章節架構與關系。除了前兩章是本書真正的理論基礎外，其他章節總體上并無循序漸進的關系。以下只對其中一些章節的內容及有價值之處做簡要說明：第 1 章《合情推理》提出做合情推理的機器人做合情性分配必須滿足幾個基本的“合情條件”：合情程度用實數表示，與常識定性相符，具有一致性。第 2 章《定量規則》在上述合情條件的基礎上推導出概率論的加法與乘法法則。由于在前面已經證明命題的合取 (邏輯和) 與析取 (邏輯乘) 構成了完備的運算集合，這證明概率加法與乘法法則已經是概率邏輯推理的一般法則。第3 章《初等抽樣論》屬于傳統概率論的內容：先討論了無放回抽樣與超幾何分布，并在此基礎上說明概率推理的一些基本性質，比如可進行逆向推理。傳統統計推斷一般包含假設檢驗和參數估計兩方面內容。本書第 4 章《初等假設檢驗》與第 6 章《初等參數估計》是這兩方面的新視角的討論：第 4 章最有價值之處是指出在多重假設檢驗時會比二元假設檢驗復雜得多，而且可能發生“死假設復活”的現象。本書對于傳統頻率派統計有很多批評，但是作者認為自己不再是基于意識形態爭論，而是根據實際效果和合理性的比較。在作者看來，正統統計學的許多重要概念，比如無偏估計、輔助統計量、置信區間等都不是基礎的，也不普遍適用，而只是某種特殊場合使用的“特定工具”。本書對于正統統計的討論與批判章節主要有第8 章《充分性與輔助性》、第 16 章《正統方法：歷史背景》與第17 章《正統統計學原理與病理》。第 11、12 章論述兩種構建“客觀”先驗概率的方式：最大熵原理和變換群方法。第 13、14 章討論概率論在決策論中的應用。作者嘗試說明，決策論其實并不基礎，其中的損失函數其實并不比先驗概率更加具有客觀性。作為物理學家，作者在一些章節中討論物理學中涉及的概率問題是合理合法的，這大致包括第9 章《重復實驗：頻率與頻率》、第 10 章《隨機實驗物理學》、第 19 章《物理測量》、第20 章《離群值與穩健性等。其中第10 章有意思的是論證了我們平常說的拋硬幣時正面朝上的概率是1/2，但是實際上拋硬幣過程中并沒有真正的“隨機性”，因此這里并不存在所謂“物理概率”。作者在這一章展示的對于量子力學中概率的理解也不同尋常，需要注意不要輕易將這種理解歸為“錯誤”的。在第 20 章中，作者說明一個實驗中觀察到的離群點究竟是可以忽略的隨機誤差點還是最有價值的信息點依賴于先驗信息，因此所謂統計分析中穩健性未必總是好事，這一點非常有價值。第 6 章《概率論的怪異應用》將概率論應用在一些看似怪異的問題(比如特異功能、意見分歧和法理學)的討論上，向我們解釋一個理性的人為什么一般不太會相信特異功能的存在，為什么一個公眾話題在討論若干年后，社會經常會分裂為兩個極端的陣營。第 7 章《中心分布、高斯分布或正態分布》在給出高斯分布的赫歇爾-麥克斯韋推導、高斯推導、蘭登推導后主要說明高斯分布為什么被廣泛使用并獲得普遍成功，后面的解釋也是一般概率論書籍中不會存在的精彩部分。第 15 章《概率論中的悖論》主要說明不經意地使用無窮大或者接受了實無窮的測度論在概率論上為什么會導致悖論。

四

勸君學習概率論

概率論目前不是物理專業的必修課。盡管量子力學和統計物理都用到概率的概念，物理系通常并不要求學生專門學習概率論。或者說，當前物理學基本仍是確定性科學，更多依賴傳統數學，對隨機數學關注不多 (統計力學方向或者是個例外)。基于筆者對于概率論重要性的認識，我很希望物理學專業未來能將概率論納入本科基礎課程，但是估計這在短時間內較難實現。在科技發展日新月異的時代，并非所有課程體系都能跟上最新發展的步伐。然而，在此之前，我還是希望所有物理專業的學生都能主動關注甚至系統學習概率論，并對本文介紹的物理學家杰恩斯的概率論思想有所了解。概率論的重要性主要體現在以下幾個方面。

按照本書的框架，概率論是科學的邏輯。這樣，其重要性就不止是作為一個額外的數學或科學門類。正因為如此，1974 年菲爾茨獎得主 David Mumford 才在其 2000 年發表的重要文章《隨機性時代的曙光》(The Dawning of the Age of Stochasticity) 中表明，傳統數學和科學以亞里士多德邏輯為基礎，但是現在概率論和統計推斷已經成為科學模型，尤其是思維過程模型的更好的基礎，也是理論數學的重要組成部分，甚至是數學本身的基礎。

概率論的重要性還在于人工智能的崛起。貝葉斯概率論是數據科學、機器學習與人工智能的最重要基礎。人工智能的核心目標是讓機器具備類人的智能行為 (如推理、決策、感知)。現實世界本質充滿不確定性，這既是AI 系統必須應對的挑戰，也是其設計的核心考量。不確定性來源包括系統內在隨機性、不完全觀測及建模局限等。按貝葉斯主義觀點：對不確定性的度量必須遵循概率法則，概率是不確定性的唯一合法表示。人工智能的實現依賴多種技術，其中機器學習是最重要手段。在深度學習盛行前，統計機器學習是主流分支，概率論在監督學習、非監督學習和強化學習中均起核心作用。即使在深度學習與大語言模型時代，概率論的基礎性作用依然穩固：它為這些模型提供了數學基礎和建模框架。

貝葉斯概率論也是一門明確涉及主體 (人) 的“科學”。傳統自然科學觀認為科學是對自然某方面性質的客觀描述。即使到了量子力學時代，認為“人不僅是觀察者，也是參與者”，也并非否定量子規律的客觀性，只是其結果的呈現受觀測行為影響。可以說，量子力學在某種程度上打破了經典物理學主客體割裂的觀念。而貝葉斯概率論則更進一步，明確表示概率是認識主體對命題的信念程度，因此概率是人對世界的認識。它一方面明確道出主體的不可或缺性，另一方面又通過貝葉斯定理將主客觀聯系起來。貝葉斯流派強調，貝葉斯定理的重要性在于，人對世界的認識離不開其 (主觀) 先驗信息。可以說，貝葉斯概率論是關乎主觀與客觀、科學與人文，甚至唯物與唯心關系的重要學問。

最后，請允許我引用《概率論沉思錄》前言中的一段話結束全文：

“人們可能會認為30 年前的著作在今天已經過時。幸運的是，杰弗里斯、波利亞和考克斯的著作是基礎性且永恒的，其中的真理并不隨時間而改變，其重要性反而與日俱增。他們對于推斷本質的洞察在30年前只是令人好奇，而今在多個科學領域中愈顯重要，并將在未來100年的所有領域中都至關重要。”

本文經授權轉載自微信公眾號“現代物理知識雜志”，原題目為“物理學家E.T. 杰恩斯及其《概率論沉思錄》簡介”，編輯：YWA。

特 別 提 示

1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閱不同主題系列科普文章。

2.『返樸』提供按月檢索文章功能。關注公眾號，回復四位數組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。