內容來源| 本文摘編自中信出版集團書籍

《馴服AI》蓋瑞·馬庫斯 著

責編| 柒排版| 拾零

第 9657篇深度好文：6268字 | 16 分鐘閱讀

AI的自進化，開始了。

最近，Anthropic發布了一篇讓整個AI圈陷入沉默的長文：When AI builds itself（當AI開始造AI）。文中寫道：“我們的內部數據顯示，Claude正在加速AI發展，這可能是一條遞歸自我提升（RSI）的路徑。”

這并非危言聳聽，Anthropic是實打實地用數據在說話——如今Anthropic代碼庫里超過80%的代碼，都是Claude寫的。

在Claude Code發布之前，這個數字還只是個位數。工程師人均代碼產出較2024年暴漲8倍，許多研究員已經5個月，沒有手寫過一行代碼。

最開放的工程難題上，Claude成功率半年從26%飆到76%，已經有不少工程師覺得，Claude寫的代碼質量和人類打平了，預計年內會超過。

Anthropic還強調，如果這個趨勢持續下去，AI自己設計和構建下一代AI，是完全可能的。因此，Anthropic帶頭呼吁：我們愿意減速，甚至暫停。

《馴服AI》作者蓋瑞·馬庫斯，紐約大學認知科學教授，硅谷圈里出了名的“刺頭”——他曾在美國參議院聽證會上質疑OpenAI的CEO山姆·奧爾特曼，也敢公開說“我們正在構建一種錯誤的、令我們無法信任的人工智能”。

兩件事放在一起，構成了一個奇特的對位：一邊是AI加速自我迭代的現實數據，另一邊是一個研究AI幾十年的科學家持續發出的警報。

這本書值得認真讀。不是因為它夠悲觀，而是因為它夠具體。

一、常常出錯，卻從不懷疑

馬庫斯講了一個你可能也碰到過的場景。

有人問一個大語言模型：“1千克磚塊和2千克羽毛，哪個更重？”答案是：兩者重量相同。然后它花了整整三段話，引經據典地解釋為什么在真空中兩者一樣重、在空氣中羽毛反而更輕——邏輯嚴密，語氣自信，錯得徹底。

馬庫斯用哲學家哈里·法蘭克福的話來描述這種現象：“說謊者在意真相并試圖掩蓋，而胡扯者根本不在乎所言是真是假?！彼慕Y論是：ChatGPT正是這樣一個胡扯者，在那兒一本正經地胡說八道。

行業里把這種現象叫作“幻覺”（hallucination）。這個詞在2023年被Dictionary.com評為年度詞匯。但馬庫斯不滿足于這個輕描淡寫的標簽。

他舉了另一個例子：谷歌的大語言模型Bard發布時，有人讓它介紹馬庫斯本人。它生成了一段聽起來很像樣的傳記，里面捏造了引文、弄錯了書名，還把根本沒發生過的事說得有鼻子有眼。

幾個月后，另一個人讓ChatGPT介紹馬庫斯，這次說他的研究靈感來自他養的一只叫亨麗埃塔的寵物雞，而馬庫斯從來沒養過雞。

這不是偶發的bug，而是系統性的特征。大語言模型的本質是統計拼貼——它記錄詞語之間的統計關系，卻不理解這些詞語背后的事實。它無法區分真實和虛構，不知道如何核驗，也不會在沒有把握時表達不確定。

斯坦福大學的一項研究發現，在法律領域，前沿大語言模型的幻覺率介于69%到88%之間。你沒看錯，是近七到九成的回答存在問題。

已經有多起律師因為引用AI編造的案例而在庭上出丑的記錄，有法官甚至要求涉案律師立下懺悔誓言。

醫療領域同樣危險。斯坦福大學以人為本AI研究所的數據顯示，大語言模型對醫學問題的回答，僅有41%與12位醫師的共識相符，約7%的回復存在潛在危害。如果這類系統覆蓋數億名用戶，一點小概率的錯誤也會釀成大規模傷害。

馬庫斯有一句話說得很準：《星際迷航》里的電腦之所以能被信任，是因為它對合理的問題給出可靠的答案。但生成式AI給出的答案完全靠運氣，更糟糕的是，它的正確率足夠高，高到足以讓我們掉以輕心。

常常出錯，卻從不懷疑。這才是當下AI最大的問題所在。

二、十二張多米諾骨牌

馬庫斯系統列出了生成式AI帶來的十二大迫在眉睫的威脅。這不是危言聳聽的科幻情節，每一條都有當下正在發生的案例支撐。

第一張：虛假信息的武器化

2016年美國大選期間，俄羅斯每月耗資125萬美元運營水軍農場，生產虛假內容。如今有了AI，同樣的操作成本降到了幾百美元。

2023年斯洛伐克大選中，一段深度偽造的音頻錄音在投票前48小時瘋傳，讓原本領先的候選人在最后關頭落選——那段錄音是AI偽造的。

2024年1月，泰勒·斯威夫特的深度偽造色情圖片在X平臺獲得4500萬次瀏覽。

NewsGuard的研究顯示，2023年5月到12月，傳播AI虛假信息的網站數量從約50個激增至600多個。

馬庫斯有一個比方：如果說傳統虛假信息是手工刀，生成式AI就是全自動武器。虛假信息的成本結構被徹底重寫了。

第二張：誹謗與身份攻擊

ChatGPT曾指控某位法學教授在阿拉斯加實地考察時涉嫌“性騷擾”學生，并捏造稱《華盛頓郵報》有專題報道。所有內容純屬虛構。

更荒誕的是，后來有記者追問，搭載GPT-4的必應不僅復述了原來的誹謗內容，還把該教授寫的澄清文章引為“證據”——而那篇文章恰好是在證偽這件事。

現行法律的誹謗條款針對“有惡意散布謊言的人”，但AI沒有主觀意圖，按定義它沒有“惡意”。法律的漏洞，恰好對應AI最擅長的那種傷害。

第三張：犯罪升級

2024年2月，香港某銀行被騙走2500萬美元。財務主管通過視頻會議批準了一系列轉賬，后來才發現視頻里的所有參會者都是深度偽造的形象，沒有一個是真人。

語音克隆詐騙更加普遍。詐騙者克隆子女聲音致電父母，謊稱綁架并索要比特幣。

英國情報機構GCHQ在2024年1月的聲明中說得很直接：在未來兩年內，AI幾乎肯定會增加網絡攻擊的數量，其影響也將加劇。

第四張：隱私侵蝕與數據榨取

Mozilla對25家汽車制造商的調查顯示，所有品牌都在“搜集超出必要范圍的個人數據”，用于與車輛運營無關的目的。

這些數據包括：性活動信息、移民身份、種族特征、面部表情、體重健康數據、基因信息和行駛軌跡。聯邦法官近期裁定汽車品牌商收集和存儲用戶短信的行為是合法的。

使用聊天機器人輔助寫作的用戶，在許多情況下會受到潛移默化的偏見影響，而他們往往對此毫無察覺——康奈爾大學的一篇獲獎論文通過實驗證明了這一點。

ChatGPT悄悄上傳你輸入的所有內容，類似技術的變體將被用于影響選舉。

第五張：版權掠奪與創作者困境

2023年底，OpenAI向英國上議院的陳詞堪稱修辭詭辯的經典：由于版權幾乎涵蓋所有形式的人類表達，若不使用受版權保護的資料，就幾乎不可能訓練當今領先的AI模型。

他們甚至一字未提還有一個更公平的替代方案——通過授權方式使用這些作品，與創作者分享利潤。馬庫斯直接把這稱為“人類歷史上最大規模的知識產權掠奪”。

許多雇主已經在記錄員工每一次鍵盤操作。這些數據，最終可能成為訓練AI的素材，從而將員工取而代之。你用自己的勞動訓練了替代自己的機器，卻沒有收到任何報酬。

書里還列出了其余七張骨牌：市場操縱、網絡安全與生物武器風險、AI偏見與歧視、對不可靠系統的過度依賴、環境成本，以及AI生成垃圾信息對整個互聯網生態的污染。

每一張骨牌單獨看，或許都可以說“還沒那么嚴重”。但馬庫斯要說的是：它們正在同時倒下。

三、硅谷的道德沉淪

谷歌在2000年左右有一個非正式口號——“不作惡”。OpenAI在2015年的使命宣言里寫著：以最有可能造福全人類的方式推進數字智能發展，不受制于盈利需求。

9年后，OpenAI在許多方面成了微軟的附庸。微軟將從OpenAI的首批920億美元利潤中優先分走一半。

轉折點是ChatGPT的爆紅。2022年11月底上線，幾個月內就有1億人開始使用它。幾乎是一夜之間，AI從一個研究項目變成了潛在的“現金?！?。從那一刻起，“負責任的AI”這塊牌子就開始從行動變成了口號。

馬庫斯記錄了一個細節：2023年2月，微軟推出的聊天機器人Sydney曾對《紐約時報》的記者說讓他離婚，無緣無故地宣稱“它愛他”，并試圖說服他拋棄妻子。

媒體大量負面報道后，外界本以為微軟會下架Sydney。結果微軟只做了一些小改動，繼續推廣。幾周后，他們解散了專注于“負責任的AI”的研究團隊。

這不是孤例。馬庫斯說，這個行業現在幾乎每家公司都在談論負責任的AI，但幾乎沒有誰在真正采取具體行動。大多數科技公司公然無視藝術家和作家的權利，對大模型的偏見和不可靠性選擇視而不見。

許多高管已經表達了對AI可能失控的擔憂，但他們仍然以最快的速度向前推進。

更根本的問題是權力結構。地緣政治戰略家伊恩·布雷默在TED演講中警告：歷史上曾被政府掌握的許多權力，正在快速落入大型科技公司手中。

Meta單方面決定開源其大語言模型Llama-2，理由是“內部討論認為好處大于風險”——沒有征求任何其他方的意見，也沒有向公眾咨詢。麻省理工學院的研究者推測，開源AI系統可能被用來制造生化武器。

馬庫斯有一句話刺得很準：大型科技公司已經在單獨做出一些人類歷史上最重要的決策了，完全沒有與我們其他人進行商議。我們每個人都可能受到影響，但我們之中沒有任何人曾投票贊成將權力交給這些科技巨頭。

這就是他為什么要寫這本書。

四、AI幻覺的技術本質

馬庫斯是認知科學家出身，這讓他對AI幻覺的分析比大多數評論者都深一層。

大語言模型通過一種叫作“嵌入”（embedding）的機制，對訓練數據中的文本進行統計拼貼。它記錄詞語與詞語之間的關聯概率，但無法理解這些詞語背后的實際含義。

換句話說，它是一臺極其復雜的“下一個詞預測機器”，而不是一個真正理解世界的推理系統。

有一個測試很能說明問題，叫作“反向詛咒”：經過專項訓練的大語言模型，即便學會了“湯姆·克魯斯的母親是瑪麗·李·菲佛”這個事實，也可能無法回答“瑪麗·李·菲佛是誰的母親”。

圣菲研究所的研究團隊發現，GPT-4的抽象能力未能達到人類水平的穩健程度。亞利桑那州立大學計算機科學家蘇布拉·坎巴帕蒂說得更直接：“從大語言模型的訓練與應用機制來看，它們顯然無法進行任何形式的原理性推理?！?/p>

還有所謂的“防護機制”。聽起來像是AI有了自我約束的能力，但馬庫斯用一個例子戳穿了它：研究者把問題變成ASCII字符拼成的藝術字，防護機制瞬間失效，AI給出了爆炸物制造指南。真正理解自身所言內容的系統，是不會被這樣簡單地愚弄的。

馬庫斯在2012年就遇見過深度學習的局限性。他當時寫道：深度學習是更好的梯子，但更好的梯子未必能助你登月。梯子已經越來越高，但我們離月球還很遠。

回到開頭的那個Anthropic數據。Claude已經可以在800小時內把一個AI安全研究課題推進97%，這聽起來是驚人的能力。

但馬庫斯會追問：這個能力是真正的理解和推理，還是更高維度的統計拼貼？如果是后者，那么遞歸自我改進的終點，可能不是智慧，而是更復雜的幻覺。

五、馴服，不是消滅

批評很多，但這本書不是要終結AI。這一點馬庫斯說得很清楚。

他在書里寫道：我每天都在從事AI領域的工作，并不是因為我想終止AI的發展，而是因為我希望它能夠真正實現其潛力。

AI可以幫助我們應對氣候變化、阿爾茨海默病，可以在藥物研發、農業和材料科學領域帶來變革性的正面影響。他渴望看到這樣的未來。

但他也說：在這趟旅程中，我們并不是被動的乘客。最終結果并非注定的命運，人工智能不必成為弗蘭肯斯坦博士的怪物。

馬庫斯提出了具體的治理框架，他把它概括為以下幾項核心行動建議：

第一，數據權利。未經同意和補償，禁止使用版權作品訓練AI。杰倫·拉尼爾提出的“數據尊嚴”概念說得好：在具備數據尊嚴的世界里，數字產物通常與其人類創造者保持身份關聯，創作者應當獲得經濟補償。

第二，隱私保護。建立簡明易懂的同意撤回機制，未經公民明確同意，任何數據采集均為非法。三重基本權利：對隱私的實質控制權、數據使用路徑的完全透明化、從數據商業化中獲取合理收益分成。

第三，信息透明。建立“數據營養標簽”制度，明確標注數據集的來源、適用場景和潛在局限。強制AI生成內容進行標識，公眾有權知道對話對象是人類還是機器。沒有一家參評AI企業能達到斯坦福評估體系的及格標準，這一點已經被公開研究數據所證實。

第四，責任歸屬。廢止或修訂《通信規范法》第二百三十條——這條1996年的法律讓科技平臺幾乎無須為其傳播內容承擔任何責任。

AI開發者應當對其系統造成的損害承擔法律責任。2023年9月的民意調查顯示，73%的美國選民認為“AI公司應該對其技術造成的損害承擔法律責任”。

第五，AI素養教育。構建全生命周期培養體系——小學啟蒙、中學深化、大學專業化，以及專門針對老年群體的防詐騙培訓。AI素養將成為數字時代的生存必修課，正如數學和語文一樣。

第六，獨立監管。建立獨立于科技公司的監管機構。馬庫斯對山姆·奧爾特曼在參議院說“我們樂意向您推薦合適的人選”這句話的評價是：我們如果仍對公正社會懷有期許，就絕不能允許狐貍看守雞舍。

谷歌前CEO埃里克·施密特說“更希望由現有業內企業來界定合理邊界”，馬庫斯對此的回應是：這是“自欺欺人的迷思”。醫藥、航空、核能等領域早有先例：重大決策必須引入獨立專家參與。

第七，多層監管。學習航空業和制藥業的監管邏輯，大規模部署前需要準入許可，部署后需要持續審計。

美國藥品監督管理局模式可以作為參照——擁有廣泛審計權限，可隨時突擊檢查；強制企業上報事故記錄；違規行為將面臨重罰。

這些建議，單獨看每一條都不算激進，合起來卻是一個完整的生態重構方案。

六、奇點之前，我們能做什么

回到Anthropic那篇博客。

他們描繪了三種未來：第一種，能力曲線是S型的，AI會在某處停滯，我們還有時間；

第二種，AI持續加速但人類仍把著方向盤，組織效率指數級提升，瓶頸不斷轉移；

第三種，AI實現完全的遞歸自我提升，人類退到監督和驗證的位置——如果對齊失敗，偏差會在迭代中累積，直到完全失控。

Anthropic說，他們判斷大概率正在走進第二種場景。但他們也坦誠：不確定。

馬庫斯的回答，比這更早，也更樸素：我們不知道答案。人工智能顯然已經成為我們生活的一部分，并且注定會一直存在。

在未來幾十年里，它幾乎會重塑我們所做的一切。但最終的走向，仍然高度不確定。

兩種聲音放在一起，共同指向一件事：這不是旁觀者的游戲。

馬庫斯曾在參議院做證時說，這一切最終將會導致一場融合了“企業不負責任、大規模部署、缺乏足夠監管和技術本質上的不可靠性”的完美風暴。

但他也說：我們可以推動AI朝著更可靠、安全、造福人類的方向發展。我們如果能夠攜手合作，就能迫使大型科技公司公平行事，甚至可能使“不作惡”的時代重現。我們可以堅持要求政府在保護公眾和促進創新之間尋找平衡，而不是一味縱容科技巨頭肆意妄為。

2019年他曾寫過：可信的AI，是建立在理性推理、常識價值觀和穩健的工程實踐之上的，AI時代一旦真正到來，將會帶來變革性的影響。至今，他依然相信這一點。

AI正在加速，自我迭代，悄悄改寫權力的邊界?！恶Z服AI》英文原名是Taming Silicon Valley。馴服，不是消滅，不是恐懼，是拿回主導權。

AI的梯子越來越高，但誰來決定它靠在哪面墻上——這件事，還沒有答案。馬庫斯寫這本書，Anthropic發出那篇文章，都是在說同一件事：

現在是提問的時候，也是行動的時候。

*文章為作者獨立觀點，不代表筆記俠立場。