編譯 | 蘇宓

出品 | CSDN（ID：CSDNnews）

是時(shí)候，讓全球頂級(jí) AI 實(shí)驗(yàn)室考慮放緩開(kāi)發(fā)步伐了...

發(fā)出這一呼吁的，不是 AI 領(lǐng)域的批評(píng)者，而是如今站在行業(yè)最前沿的 Claude 開(kāi)發(fā)商 Anthropic——這家成立僅 5 年、估值高達(dá) 9000 億美元的新銳 AI 初創(chuàng)公司。

Anthropic 給出的理由也很直接：AI 正在越來(lái)越多地參與 AI 本身的研發(fā)過(guò)程，而距離“AI 構(gòu)建 AI”的時(shí)代，可能已經(jīng)沒(méi)有想象中那么遙遠(yuǎn)。

在 Anthropic 看來(lái)，一旦 AI 具備自主設(shè)計(jì)、訓(xùn)練和優(yōu)化下一代模型的能力，人類(lèi)將面臨一個(gè)前所未有的問(wèn)題：如何持續(xù)監(jiān)督這些系統(tǒng)、確保它們始終處于可控狀態(tài)，并讓其發(fā)展方向符合人類(lèi)利益。

值得注意的是，Anthropic 的擔(dān)憂并非建立在純粹的理論推演之上。相反，這一判斷來(lái)自兩個(gè)方面：一方面是過(guò)去幾年整個(gè)行業(yè)公開(kāi)可見(jiàn)的能力躍遷；另一方面則是 Anthropic 內(nèi)部積累的大量實(shí)際研發(fā)數(shù)據(jù)。

在最新發(fā)布的長(zhǎng)篇研究報(bào)告《When AI Builds Itself（當(dāng) AI 構(gòu)建自身）》中，Anthropic 系統(tǒng)梳理了 AI 在“遞歸式自我改進(jìn)”方向上的最新進(jìn)展，并試圖回答兩個(gè)關(guān)鍵問(wèn)題：

• AI 距離真正開(kāi)始“研發(fā)自己”還有多遠(yuǎn)？

• 面對(duì)「未來(lái)的這一天」，當(dāng)前行業(yè)該怎么做？

20XX 年，“遞歸式自我改進(jìn)”時(shí)代即將到來(lái)

過(guò)去幾年，Anthropic 正逐步把越來(lái)越多的 AI 研發(fā)工作交給 AI 系統(tǒng)本身完成：

• 2021-2023 年，構(gòu)建第一個(gè) Claude。這時(shí) Anthropic 的工作方式與大多數(shù)科技公司并沒(méi)有本質(zhì)區(qū)別：工程師坐在電腦前寫(xiě)代碼、寫(xiě)文檔，AI 尚未真正參與研發(fā)過(guò)程。

• 2023-2025 年，聊天機(jī)器人開(kāi)始進(jìn)入工作流，例如生成簡(jiǎn)短代碼片段，開(kāi)發(fā)者再手動(dòng)復(fù)制到 IDE 中完成后續(xù)工作。

• 2025-2026 年，隨著 Claude Code 等編碼 Agent 出現(xiàn)，AI 能夠獨(dú)立編寫(xiě)和修改代碼，有時(shí)候也能編輯整個(gè)文件。

• 到了今天，“自主 Agent”已出現(xiàn)，它們可以自己運(yùn)行代碼，還能把任務(wù)進(jìn)一步拆分，并交給其他 Agent 處理，連續(xù)完成數(shù)小時(shí)的工作。
  

如果按照這種趨勢(shì)持續(xù)下去，并且擁有足夠的算力支持，Anthropic 指出，最終可能會(huì)出現(xiàn)這樣一種 AI：它能夠完全自主地設(shè)計(jì)并開(kāi)發(fā)出自己的下一代版本。這種現(xiàn)象被稱為“遞歸式自我改進(jìn)（Recursive Self-Improvement）”。

在 Anthropic 設(shè)想的下一階段——時(shí)間軸上的“20XX 年”，整個(gè)循環(huán)將被徹底閉合。

毋庸置疑，如果 AI 能夠自主構(gòu)建下一代 AI 系統(tǒng)，這將成為技術(shù)發(fā)展史上的一個(gè)重要里程碑，并有望在科學(xué)研究、醫(yī)療健康等眾多領(lǐng)域釋放巨大價(jià)值，為社會(huì)帶來(lái)廣泛益處。

但另一方面，完全實(shí)現(xiàn)遞歸式自我改進(jìn)，也可能增加人類(lèi)失去對(duì) AI 系統(tǒng)控制權(quán)的風(fēng)險(xiǎn)。倘若 AI 已經(jīng)具備獨(dú)立構(gòu)建其后繼系統(tǒng)的能力，那么如何保障系統(tǒng)安全、如何持續(xù)進(jìn)行監(jiān)督，以及如何確保其行為符合人類(lèi)預(yù)期，都將變得更加重要。

Anthropic 表示，我們距離這一階段還有相當(dāng)長(zhǎng)的路要走，而且遞歸式自我改進(jìn)也并非一定會(huì)發(fā)生。但它到來(lái)的時(shí)間，可能比大多數(shù)機(jī)構(gòu)和組織預(yù)想的更早。

這一點(diǎn)可以從外部以及 Anthropic 內(nèi)部的使用情況看出來(lái)。

CSDN 6 月寵粉福利

200 小時(shí) GPU 算力免費(fèi)送

瑞幸咖啡/肯德基早餐/麥當(dāng)勞套餐/下午茶等能量套餐任選其一

入群還可每月定期抽取旗艦顯卡、AI PC 等極客神裝

來(lái)自外部的證據(jù)

Anthropic 表示，衡量這一趨勢(shì)的一個(gè)重要指標(biāo)是：AI 能夠獨(dú)立完成任務(wù)的時(shí)長(zhǎng)正在迅速增長(zhǎng)。過(guò)去，這個(gè)數(shù)字大約每 7 個(gè)月翻一倍；如今，已經(jīng)縮短到每 4 個(gè)月翻一倍左右。

2024 年 3 月，Claude Opus 3 大致能夠獨(dú)立完成需要人類(lèi)花費(fèi) 4 分鐘左右的軟件開(kāi)發(fā)任務(wù)。一年后的 Claude Sonnet 3.7，已經(jīng)能處理耗時(shí)約 1 個(gè)半小時(shí)的任務(wù)。再過(guò)一年，Claude Opus 4.6 能夠完成持續(xù)約 12 小時(shí)的工作任務(wù)。

如果這一趨勢(shì)持續(xù)下去，那么今年之內(nèi)，AI 可能就能勝任那些需要熟練工程師花費(fèi)數(shù)天時(shí)間才能完成的工作。而到了 2027 年，AI 系統(tǒng)甚至可能具備處理需要數(shù)周時(shí)間才能完成任務(wù)的能力。

類(lèi)似的變化也體現(xiàn)在編程和科研領(lǐng)域的各類(lèi)基準(zhǔn)測(cè)試中。基準(zhǔn)測(cè)試用于衡量模型在特定領(lǐng)域的能力表現(xiàn)。當(dāng)模型成績(jī)接近滿分時(shí)，通常意味著這一測(cè)試已經(jīng)被“刷滿”或“跑滿”，很難再區(qū)分不同模型之間的能力差異。

SWE-bench 是目前廣泛使用的軟件工程能力測(cè)試。它會(huì)向模型提供一個(gè)真實(shí)的開(kāi)源項(xiàng)目和一份真實(shí)的 Bug 報(bào)告，要求模型修改代碼、修復(fù)問(wèn)題，并通過(guò)項(xiàng)目原有的測(cè)試用例。短短兩年時(shí)間里，模型在這一測(cè)試上的成績(jī)已經(jīng)從個(gè)位數(shù)水平一路提升到接近滿分。

科研領(lǐng)域也出現(xiàn)了類(lèi)似情況。CORE-Bench 主要測(cè)試模型能否復(fù)現(xiàn)已有研究成果，而這被認(rèn)為是開(kāi)展原創(chuàng)科研工作的前提條件。測(cè)試會(huì)向模型提供一篇已發(fā)表論文對(duì)應(yīng)的代碼和數(shù)據(jù)，然后要求模型重新運(yùn)行整個(gè)實(shí)驗(yàn)流程，并驗(yàn)證是否能夠得到與論文一致的結(jié)果。

2024 年，AI 復(fù)現(xiàn)成功率還只有約 20%；僅僅 15 個(gè)月后，模型已經(jīng)基本達(dá)到這一測(cè)試的上限。負(fù)責(zé)研究長(zhǎng)周期任務(wù)能力的機(jī)構(gòu) METR 也發(fā)現(xiàn)，Claude Mythos Preview 能夠連續(xù)工作至少 16 個(gè)小時(shí)，其表現(xiàn)已經(jīng)接近 METR 現(xiàn)有評(píng)測(cè)體系能夠測(cè)量的上限。如果想繼續(xù)評(píng)估更強(qiáng)模型的能力，他們甚至需要設(shè)計(jì)全新的測(cè)試任務(wù)。

公開(kāi)基準(zhǔn)測(cè)試能夠很好地反映這些 AI 系統(tǒng)能力正在快速提升，但它們無(wú)法直接反映另一件同樣重要的事情：AI 是否正在加速 AI 本身的發(fā)展。

想回答這個(gè)問(wèn)題，就需要看看 Anthropic 內(nèi)部發(fā)生了什么。

Anthropic 內(nèi)部的變化

如今，Claude 已經(jīng)承擔(dān)了 Anthropic 大量的代碼編寫(xiě)工作。

80% 代碼由 Claude 完成

截至 2026 年 5 月，Anthropic 主代碼庫(kù)中超過(guò) 80% 被合并的代碼，最初都由 Claude 編寫(xiě)。而在 2025 年 2 月 Claude Code 以研究預(yù)覽版發(fā)布之前，這一比例還只有個(gè)位數(shù)。

這種變化同樣體現(xiàn)在工程師的產(chǎn)出效率上。在 Anthropic 成立后的前四年（2021—2024 年），每位工程師每天提交到代碼庫(kù)中的代碼量基本保持穩(wěn)定。

到了 2025 年，這條曲線開(kāi)始明顯上升。原因在于 Claude 不再只是給出代碼建議，等待工程師復(fù)制粘貼，而是能夠直接運(yùn)行和修改代碼。

進(jìn)入 2026 年后，隨著模型開(kāi)始能夠在更長(zhǎng)時(shí)間范圍內(nèi)自主完成工作，這一增長(zhǎng)趨勢(shì)再次加速。

數(shù)據(jù)顯示，2026 年第二季度，Anthropic 普通工程師每天提交的代碼量，已經(jīng)達(dá)到 2024 年同期的 8 倍。

出現(xiàn)這種變化的原因并不是工程師打字速度突然變快了，而是越來(lái)越多代碼實(shí)際上由 Claude 完成。工程師更多是在設(shè)定目標(biāo)、指導(dǎo)方向以及審核結(jié)果，而不再親自編寫(xiě)每一行代碼。

Anthropic 特別指出，有一個(gè)需要先說(shuō)明的前提：代碼行數(shù)并非完美的衡量標(biāo)準(zhǔn)，因?yàn)樗饬康氖菙?shù)量而非質(zhì)量。因此，該團(tuán)隊(duì)表示，2026 年第二季度“每位工程師每天代碼量提升 8 倍”這個(gè)數(shù)字，很可能高估了真實(shí)的效率提升幅度。盡管如此，它至少說(shuō)明了一件事：整體產(chǎn)出確實(shí)在加速。

當(dāng)然，Anthropic 稱其內(nèi)部并不會(huì)根據(jù)代碼行數(shù)來(lái)評(píng)價(jià)員工貢獻(xiàn)。換句話說(shuō)，大家并不是為了“寫(xiě)更多代碼”而去寫(xiě)代碼。代碼量的增加，本質(zhì)上是因?yàn)楣こ處熼_(kāi)始更頻繁地使用 AI 系統(tǒng)來(lái)完成原本需要自己寫(xiě)的部分。

這種“產(chǎn)出變多”的變化，也和工程師的主觀感受基本一致。在 2026 年 3 月，Anthropic 對(duì) 130 名來(lái)自不同研究團(tuán)隊(duì)的員工做了一次調(diào)查。結(jié)果顯示，中位數(shù)受訪者認(rèn)為：在使用 Mythos Preview 的情況下，他們?cè)谧约涸揪蜁?huì)參與的項(xiàng)目中，整體產(chǎn)出大約提升了 4 倍。

不過(guò)，從整體判斷來(lái)看，這個(gè)“4 倍”的數(shù)字可能還是偏樂(lè)觀了一些。但即便如此，這個(gè)結(jié)論仍然和其他觀察結(jié)果一致：相當(dāng)一部分 Anthropic 技術(shù)人員，確實(shí)正在以數(shù)倍于過(guò)去的速度完成核心工作。

除此之外，Anthropic 還看到一個(gè)同樣重要的現(xiàn)象：人們開(kāi)始用 Claude 去做一些“如果沒(méi)有 AI，大概率不會(huì)做”的工作。比如構(gòu)建一些探索性的工具，或者處理長(zhǎng)期被擱置的代碼清理任務(wù)。

舉個(gè)例子，在 2026 年 4 月，Claude 一次性修復(fù)了 800 多個(gè) API 錯(cuò)誤，這些修復(fù)讓某一類(lèi) API 報(bào)錯(cuò)率下降了約 1000 倍。負(fù)責(zé)這一工作的工程師估計(jì)，如果完全由人類(lèi)來(lái)做，這項(xiàng)工作可能需要四年時(shí)間才能完成。原因很簡(jiǎn)單：這類(lèi)工作通常又瑣碎又耗時(shí)，而且需要在腦中同時(shí)處理大量不熟悉的系統(tǒng)上下文。

AI 正在寫(xiě)出“好代碼”

在 Anthropic 看來(lái)，所謂的“好代碼”，主要有兩個(gè)標(biāo)準(zhǔn)：第一是能正確運(yùn)行；第二是結(jié)構(gòu)清晰，其他工程師能夠理解并在此基礎(chǔ)上繼續(xù)開(kāi)發(fā)。

• 在第一個(gè)標(biāo)準(zhǔn)上，Anthropic 表示，過(guò)去一年里，其員工在 Claude 執(zhí)行任務(wù)過(guò)程中進(jìn)行干預(yù)、糾正或接管的頻率一直在下降，即便是在復(fù)雜、開(kāi)放式任務(wù)中也是如此。這里說(shuō)的“開(kāi)放式任務(wù)”，指的是那些沒(méi)有明確答案、工程師自己也不完全確定最終結(jié)果應(yīng)該是什么的工作。

  從 Claude 在不同難度任務(wù)上的成功率變化也可以看到這一點(diǎn)，它正在越來(lái)越多地獨(dú)立完成真正可用的代碼。

在最開(kāi)放式的任務(wù)中，Claude 在 2026 年 5 月的成功率達(dá)到了 76%，在六個(gè)月內(nèi)提升了 50 %。

• 第二個(gè)衡量標(biāo)準(zhǔn)，是代碼是否足夠清晰，能否讓其他工程師理解并繼續(xù)開(kāi)發(fā)。在這一點(diǎn)上，人類(lèi)與 AI 之間的差距仍然存在，但正在快速縮小。

Anthropic 內(nèi)部員工并沒(méi)有完全一致的看法，但很多人認(rèn)為，在 2025 年末，Claude 生成的代碼質(zhì)量仍然略低于人類(lèi)工程師；而到了今天，已經(jīng)大致接近持平；預(yù)計(jì)在一年之內(nèi)可能會(huì)超過(guò)人類(lèi)水平。

這一變化也改變了 Anthropic 內(nèi)部代碼審查的方式。

現(xiàn)在，Anthropic 聲稱，其所有提交到代碼庫(kù)的改動(dòng)，在合并之前，都會(huì)先經(jīng)過(guò)一個(gè)由 Claude 驅(qū)動(dòng)的自動(dòng)審查系統(tǒng)，用于檢查 bug、安全問(wèn)題以及其他潛在缺陷。

基于這一工具，他們還做了一次回溯分析，發(fā)現(xiàn)：如果對(duì)過(guò)去 claude.ai 生產(chǎn)環(huán)境中的所有代碼變更都進(jìn)行這種自動(dòng)審查，大約三分之一導(dǎo)致事故的 bug，本可以在上線前被提前發(fā)現(xiàn)。

而這些代碼的作者，本身都是世界上最頂尖的工程師之一。換句話說(shuō)，如今 Claude 已經(jīng)開(kāi)始捕捉那些頂級(jí)人類(lèi)工程師也會(huì)遺漏的錯(cuò)誤。

Claude 擅長(zhǎng)在既定目標(biāo)下不斷進(jìn)行實(shí)驗(yàn)，以找到更優(yōu)解

每次 Anthropic 發(fā)布新模型時(shí)，該團(tuán)隊(duì)內(nèi)部都會(huì)運(yùn)行一個(gè)固定測(cè)試：給 Claude 一段用于訓(xùn)練小型 AI 模型的代碼，然后要求它在保證正確性的前提下，讓訓(xùn)練速度盡可能快。

在這個(gè)任務(wù)中，目標(biāo)和評(píng)估標(biāo)準(zhǔn)都是提前固定好的，Claude 的工作就是不斷修改代碼、運(yùn)行實(shí)驗(yàn)、計(jì)時(shí)、再修改，循環(huán)優(yōu)化。這本質(zhì)上是一個(gè)微縮版的實(shí)驗(yàn)研究流程。

在 2025 年 5 月，Claude Opus 4 平均能讓代碼運(yùn)行速度提升約 3 倍。

到了 2026 年 4 月，Claude Mythos Preview 已經(jīng)可以達(dá)到約 52 倍的提升。

作為對(duì)比，一名熟練的人類(lèi)研究員通常需要 4 到 8 小時(shí)才能實(shí)現(xiàn) 4 倍加速。

在這個(gè)研究流程的環(huán)節(jié)中，也就是在明確實(shí)驗(yàn)?zāi)繕?biāo)下進(jìn)行優(yōu)化——Claude 在不到一年時(shí)間里，從“很好用”變成了“超過(guò)人類(lèi)水平”。

Claude 在提出自己實(shí)驗(yàn)設(shè)計(jì)方面的能力也在提升

2026 年 4 月，Anthropic 發(fā)布了一個(gè)重要實(shí)驗(yàn)：首次展示 Claude 端到端運(yùn)行一個(gè)開(kāi)放式研究項(xiàng)目。

在這個(gè)實(shí)驗(yàn)中，由 Claude 驅(qū)動(dòng)的 Agent 被交給一個(gè) AI 安全領(lǐng)域的開(kāi)放問(wèn)題——“較弱的模型能否可靠地監(jiān)督更強(qiáng)的模型？”，然后讓它們自行探索解決方案。

整個(gè)過(guò)程包括提出假設(shè)、設(shè)計(jì)實(shí)驗(yàn)、測(cè)試結(jié)果、在多個(gè)并行 Agent 之間共享發(fā)現(xiàn)，并不斷迭代。

這個(gè)任務(wù)本身有明確的“下限”和“上限”：下限是弱監(jiān)督模型單獨(dú)完成時(shí)的表現(xiàn)，上限是強(qiáng)模型在正確答案監(jiān)督下訓(xùn)練后的表現(xiàn)。

兩名人類(lèi)研究員在大約一周時(shí)間內(nèi)，彌補(bǔ)了約 23% 的性能差距。而 Claude 驅(qū)動(dòng)的 Agent 在約 800 小時(shí)的累計(jì)運(yùn)行中恢復(fù)了 97%，消耗約 1.8 萬(wàn)美元算力。

這個(gè)實(shí)驗(yàn)存在一些局限性：它并沒(méi)有完全遷移到生產(chǎn)級(jí)模型上，而且問(wèn)題選擇和評(píng)分標(biāo)準(zhǔn)仍然由人類(lèi)設(shè)定。但在這些約束條件下，實(shí)驗(yàn)設(shè)計(jì)本身已經(jīng)完全由 Agent 完成，人類(lèi)的主要作用只剩下方向設(shè)定。

Claude 在把研究過(guò)程逐步引導(dǎo)向真正“有結(jié)果的方向”這件事上，正在變得越來(lái)越好

長(zhǎng)文中，Anthropic 還分析了 2026 年 1 月到 3 月之間真實(shí)的 Claude Code 會(huì)議記錄，這些記錄來(lái)自 Anthropic 研究人員與 Claude 一起處理開(kāi)放式調(diào)查任務(wù)的場(chǎng)景，比如：為什么某次訓(xùn)練會(huì)不斷崩潰，或者為什么某個(gè)模型在基準(zhǔn)測(cè)試中表現(xiàn)異常低。

在每一段記錄中，Anthropic 發(fā)現(xiàn)了一個(gè)共同點(diǎn)：研究人員在某個(gè)時(shí)刻“繞了一下路”，他們嘗試了一個(gè)方向，但這個(gè)方向讓整個(gè)調(diào)試或研究過(guò)程偏離了主線，直到后來(lái)才重新回到正軌。

隨后，他們只截取這些會(huì)話中“走偏之前”的部分，把不同版本的 Claude 模型放進(jìn)去，詢問(wèn)它們下一步會(huì)怎么做。同時(shí)，他們還使用另一個(gè) Claude，它能夠看到整個(gè)會(huì)話最終是如何發(fā)展的，讓它去判斷：在那個(gè)關(guān)鍵節(jié)點(diǎn)上，是 AI 還是人類(lèi)提出的下一步更好。

需要強(qiáng)調(diào)的是，這類(lèi)樣本（n=129）是刻意挑選的——Anthropic 表示，我們選擇的都是“人類(lèi)判斷存在改進(jìn)空間”的時(shí)刻。因此，這并不是一個(gè)嚴(yán)格意義上的人機(jī)對(duì)照實(shí)驗(yàn)，而更像是在一組真實(shí)且具有挑戰(zhàn)性的情境中，觀察模型在“下一步?jīng)Q策”能力上的演化。

在這些情境里，正確答案本身并不顯而易見(jiàn)，人類(lèi)的選擇只是一個(gè)有意義的參照基準(zhǔn)，用來(lái)衡量模型在不同時(shí)間點(diǎn)的表現(xiàn)變化。在這一指標(biāo)上，2025 年 11 月的最佳模型（Opus 4.5）在 51% 的情況下優(yōu)于人類(lèi)選擇；到了 2026 年 4 月的 Mythos Preview，這一比例提升到了 64%。

而研究工作在很大程度上，本質(zhì)上就是由一連串這樣的“下一步該做什么”的決策構(gòu)成的。

因此，這一結(jié)果可以被視為一個(gè)早期信號(hào)：AI 正在逐步具備 AI 研究所依賴的那種判斷能力。

Anthropic 未來(lái)的工作會(huì)變成什么樣？

現(xiàn)有證據(jù)表明，在 AI 研發(fā)流程的每一個(gè)環(huán)節(jié)中，人類(lèi)的角色都在逐步收縮。

一旦人類(lèi)與 AI 生成的代碼質(zhì)量達(dá)到持平，人類(lèi)很可能會(huì)不再親自寫(xiě)代碼，而轉(zhuǎn)向只負(fù)責(zé)審查代碼。

但如果 AI 寫(xiě)代碼的速度遠(yuǎn)遠(yuǎn)超過(guò)人類(lèi)審查速度，那么“代碼審查”本身就會(huì)成為新的瓶頸，從而反過(guò)來(lái)限制整體研發(fā)效率。

類(lèi)似地，一旦 Claude 能夠獨(dú)立運(yùn)行實(shí)驗(yàn)，下一個(gè)關(guān)鍵問(wèn)題就會(huì)變成：哪些實(shí)驗(yàn)值得做？換句話說(shuō)，原本需要人類(lèi)投入時(shí)間的“執(zhí)行環(huán)節(jié)”（寫(xiě)代碼、跑實(shí)驗(yàn)、產(chǎn)出結(jié)果），正在迅速變得幾乎不再消耗人類(lèi)時(shí)間——即使它仍然消耗算力資源。

目前來(lái)看，人類(lèi)仍然具有相對(duì)優(yōu)勢(shì)的領(lǐng)域，是“研究品味”和判斷力，包括選擇什么問(wèn)題重要、哪些結(jié)果值得信任、以及什么時(shí)候某條路徑已經(jīng)走不通。

Anthropic 也有可能錯(cuò)了？

Anthropic 指出，對(duì)上述所有證據(jù)，一個(gè)自然的反駁是：目前仍然掌握在人類(lèi)手中的部分——比如“選擇做什么問(wèn)題”——才是真正關(guān)鍵的能力。如果沒(méi)有這種判斷力，Claude 仍然只是一個(gè)能力很強(qiáng)的工具，而不是能夠獨(dú)立推動(dòng) AI 進(jìn)展的系統(tǒng)。

但其認(rèn)為，問(wèn)題在于：現(xiàn)有的訓(xùn)練方法和模型架構(gòu)，是否真的能夠支持這種能力的出現(xiàn)，目前仍然不清楚。不過(guò)，AI 的進(jìn)步很少來(lái)自某種“靈光一現(xiàn)”的突破。

在 AI 的發(fā)展史中，確實(shí)出現(xiàn)過(guò)少數(shù)范式級(jí)變化，比如 Transformer 架構(gòu)，或者 mixture-of-experts 模型。但這類(lèi)改變往往間隔數(shù)年才出現(xiàn)一次。

而在這些階段之間，絕大多數(shù)進(jìn)步都是漸進(jìn)式的：擴(kuò)大規(guī)模、觀察問(wèn)題、修復(fù)缺陷、再繼續(xù)擴(kuò)展。這恰好也是 Claude 當(dāng)前最擅長(zhǎng)的工作方式。

愛(ài)迪生曾說(shuō)過(guò)：“天才是 1% 的靈感，加上 99% 的汗水。”但現(xiàn)在的問(wèn)題是，這 99% 的“汗水”，正在被逐漸自動(dòng)化。越來(lái)越明顯的一點(diǎn)是：推動(dòng)前沿進(jìn)展的，很大一部分工作本質(zhì)上是可以被自動(dòng)化的。大規(guī)模研究的推進(jìn)速度，更多取決于工具和資源——也就是你能多快運(yùn)行實(shí)驗(yàn)、能同時(shí)運(yùn)行多少實(shí)驗(yàn)，以及你獲取結(jié)果的速度。

即便假設(shè) Claude 永遠(yuǎn)無(wú)法形成良好的“研究品味”，一個(gè)更保守的結(jié)論仍然成立：整體進(jìn)展正在出現(xiàn)持續(xù)的復(fù)合加速。

如果人類(lèi)只負(fù)責(zé)少量關(guān)鍵的方向選擇，而 Claude 負(fù)責(zé)其余大部分工作，那么每個(gè)研究人員實(shí)際“可控制的工作量”都會(huì)顯著擴(kuò)大。

從目前的證據(jù)來(lái)看，Anthropic 內(nèi)部的人員不僅在加速產(chǎn)出，同時(shí)也在覆蓋更大的工作范圍。在現(xiàn)實(shí)中，這意味著：即使沒(méi)有發(fā)生質(zhì)變，AI 也已經(jīng)讓 Anthropic 的整體運(yùn)轉(zhuǎn)速度明顯快于 AI 工具普及之前。

而更樂(lè)觀（或者說(shuō)更激進(jìn)）的解釋是：Claude 在研究判斷力上的早期進(jìn)展——盡管目前仍然有限——本身就說(shuō)明這種能力正在被逐步學(xué)習(xí)出來(lái)。“研究品味”可能只是另一種能力形態(tài)：它一開(kāi)始表現(xiàn)很差，但隨著訓(xùn)練和規(guī)模擴(kuò)大，最終也會(huì)被掌握。

類(lèi)似的模式在其他“偏定性能力”上已經(jīng)出現(xiàn)過(guò)，比如 AI 解釋笑話為什么好笑、理解他人意圖、以及解決語(yǔ)言謎題的能力。

可能的未來(lái)

接下來(lái)會(huì)發(fā)生什么，取決于兩件事：當(dāng)前趨勢(shì)是否會(huì)繼續(xù)，以及如果繼續(xù)，大家會(huì)如何應(yīng)對(duì)。

對(duì)此，Anthropic 設(shè)想了三種不同的未來(lái)路徑：

一、趨勢(shì)停滯，但現(xiàn)有 AI 能力已經(jīng)廣泛普及

上文中提到的很多增長(zhǎng)曲線，看起來(lái)像指數(shù)增長(zhǎng)，但它們也可能最終只是“S 曲線”。也就是說(shuō)，如今的大家可能正在接近曲線的拐點(diǎn)：當(dāng)規(guī)模繼續(xù)擴(kuò)大時(shí)，邊際收益開(kāi)始下降，增長(zhǎng)速度逐漸變緩，最終趨于平穩(wěn)。

在這種情況下，區(qū)分“合格研究者”和“頂尖研究者”的關(guān)鍵能力，可能并不能通過(guò)簡(jiǎn)單地?cái)U(kuò)大算力和數(shù)據(jù)規(guī)模來(lái)獲得。如果確實(shí)如此，要突破這一瓶頸，可能需要新的突破，比如一種全新的模型架構(gòu)，能夠取代當(dāng)前所有前沿模型都依賴的 Transformer 架構(gòu)。

另一種可能是：限制 AI 進(jìn)步的并不是模型本身，而是外部供給鏈。例如，推動(dòng)前沿模型發(fā)展的能源和算力需求，可能已經(jīng)接近甚至超過(guò)現(xiàn)實(shí)世界的供給能力。

芯片制造速度、電網(wǎng)擴(kuò)展能力、互聯(lián)帶寬等基礎(chǔ)設(shè)施，可能比“智能本身”更早成為瓶頸。眾人也不能排除某種外部沖擊導(dǎo)致 AI 發(fā)展明顯放緩，比如算力或電力供應(yīng)突然下降，這會(huì)顯著減緩進(jìn)展，并提高實(shí)驗(yàn)室持續(xù)投入的成本。當(dāng)然，也可能存在大家目前尚未意識(shí)到的其他限制因素。

即便模型能力停留在今天的水平不再提升，世界也依然發(fā)生了深刻變化。一個(gè)早期例子是 Project Glasswing：在最初幾周，Mythos Preview 就在全球關(guān)鍵系統(tǒng)中發(fā)現(xiàn)了一萬(wàn)多個(gè)高危或嚴(yán)重級(jí)別的軟件漏洞。這已經(jīng)讓網(wǎng)絡(luò)安全的瓶頸從“發(fā)現(xiàn)漏洞”轉(zhuǎn)變?yōu)椤笆欠駚?lái)得及修復(fù)”。而當(dāng)前大家才剛剛開(kāi)始把這些模型擴(kuò)散到更廣泛的經(jīng)濟(jì)體系中。

在這種情況下，一個(gè) 100 人的公司，可能越來(lái)越像一個(gè) 1000 人甚至 10000 人規(guī)模的組織，因?yàn)槊總€(gè)員工都在使用一整套 AI 代理系統(tǒng)作為“能力放大器”。

Anthropic 表示，提出這種情況，是為了完整性考慮，但我們并不認(rèn)為它是最可能的路徑。因?yàn)榈侥壳盀橹梗珹nthropic 觀測(cè)到的所有能力指標(biāo)——包括那些較難量化的，比如代碼質(zhì)量、開(kāi)放式任務(wù)表現(xiàn)——都沿著同一條曲線持續(xù)上升，至今還沒(méi)有看到這條曲線出現(xiàn)拐點(diǎn)。

在這三種未來(lái)中，這一種給政府和社會(huì)留下的適應(yīng)時(shí)間是最長(zhǎng)的。但 Anthropic 更擔(dān)心后面兩種發(fā)展路徑，因?yàn)樗鼈兛赡軙?huì)更快發(fā)生，也留給人類(lèi)的準(zhǔn)備時(shí)間更少。

二、AI 研發(fā)持續(xù)提速，但仍由人類(lèi)主導(dǎo)方向

在這一情景中，AI 的研發(fā)將高度自動(dòng)化，但人類(lèi)仍然負(fù)責(zé)設(shè)定研究方向和判斷結(jié)果。

隨著時(shí)間推移，使用 AI 系統(tǒng)的組織將變得更加高效，因此也可以預(yù)料到，組織中每個(gè)人的生產(chǎn)力都將得到顯著提升。

現(xiàn)在大家也可以看到非常明顯的產(chǎn)出倍增效應(yīng)：100 人的團(tuán)隊(duì)，可能逐漸具備執(zhí)行 1 萬(wàn)甚至 10 萬(wàn)人規(guī)模工作的能力。

這將徹底改變知識(shí)型工作以及公共服務(wù)的運(yùn)作方式。但它也可能被用于有害的用途，比如對(duì)全體民眾進(jìn)行高度自動(dòng)化的監(jiān)控、或開(kāi)展針對(duì)每個(gè)人的、規(guī)模龐大、任何人類(lèi)團(tuán)隊(duì)都無(wú)法企及的影響行動(dòng)。

在這種未來(lái)中，像 Anthropic 這樣的組織內(nèi)部角色也會(huì)發(fā)生變化。人類(lèi)不再主要“執(zhí)行任務(wù)”，而是與 AI 協(xié)作，擴(kuò)大研究規(guī)模、產(chǎn)生新想法，并共同構(gòu)建驗(yàn)證系統(tǒng)，確保 AI 輸出是可信的。

就目前看到的證據(jù)表明，Anthropic 坦言，我們很可能正在走向這一情景。但需要注意的是，加速某一環(huán)節(jié)的效率，往往只是把瓶頸轉(zhuǎn)移到了其他地方。系統(tǒng)整體速度，最終取決于最慢的那一部分。

在計(jì)算機(jī)科學(xué)中，這被稱為 Amdahl 定律，同樣的邏輯也適用于組織運(yùn)作。Anthropic 已經(jīng)觀察到這一現(xiàn)象的一個(gè)具體表現(xiàn)：當(dāng)越來(lái)越多代碼由 AI 生成后，人類(lèi)代碼審查反而成為新的瓶頸。

在工程之外，也會(huì)有類(lèi)似的限制。由于模型能力提升，Anthropic 內(nèi)部出現(xiàn)了大量新的想法、項(xiàng)目、工具和模擬實(shí)驗(yàn)，但團(tuán)隊(duì)根本沒(méi)有足夠的精力全部推進(jìn)。

如何快速識(shí)別這些瓶頸，并決定優(yōu)先級(jí)，可能本身就會(huì)成為組織中最關(guān)鍵的一項(xiàng)能力，而且這一能力可能也會(huì)隨著時(shí)間不斷進(jìn)化。

三、AI 系統(tǒng)本身將具備完全遞歸式自我改進(jìn)的能力，并開(kāi)始構(gòu)建自己的下一代系統(tǒng)

如果技術(shù)趨勢(shì)持續(xù)發(fā)展，并且 AI 獲得類(lèi)似人類(lèi)“創(chuàng)造性突破能力”的水平，那么 AI 設(shè)計(jì)并優(yōu)化自身系統(tǒng)是完全可能的。

在這種情況下，AI 研發(fā)的速度將幾乎完全由算力供給決定——或者由算法效率提升的速度決定。人類(lèi)在研發(fā)中的角色將大幅下降，主要轉(zhuǎn)向監(jiān)督、驗(yàn)證和審計(jì)工作。

屆時(shí)，一個(gè)由 AI 運(yùn)行的“虛擬實(shí)驗(yàn)室”將持續(xù)擴(kuò)張，而人類(lèi)更多是在外圍確認(rèn)其行為是否安全可靠。與此同時(shí)，這類(lèi)系統(tǒng)一旦具備自動(dòng)化 AI 研發(fā)能力，也很可能遷移到其他科學(xué)領(lǐng)域，引發(fā)更廣泛的科學(xué)革命。

但在這個(gè)未來(lái)中，“對(duì)齊問(wèn)題”是否能夠被解決，是最不確定的一點(diǎn)。模型可能展現(xiàn)出足夠的一致性和研究能力，從而發(fā)現(xiàn)并實(shí)現(xiàn)大家尚未實(shí)現(xiàn)的全新解決方案。如果情況并非如此，他們或許會(huì)足夠明智地停止發(fā)展。

但也存在另一種可能：當(dāng)前模型中已經(jīng)存在的少量不對(duì)齊行為，在不斷生成下一代模型的過(guò)程中被放大、繼承并逐漸失控，最終變得更加復(fù)雜但難以理解。我們甚至不確定，是否能夠構(gòu)建出足夠可靠的工具來(lái)判斷自己究竟處在哪一條軌道上。

很多人很難直觀理解這種未來(lái)，因?yàn)楫?dāng)前經(jīng)濟(jì)體系仍然建立在人類(lèi)及其工具之上。而在一個(gè)由快速遞歸自我改進(jìn)驅(qū)動(dòng)的世界中，AI 可能逐漸主導(dǎo)整個(gè)經(jīng)濟(jì)系統(tǒng)，并在能力上全面超過(guò)人類(lèi)。

當(dāng)人類(lèi)勞動(dòng)不再具有競(jìng)爭(zhēng)力時(shí)，經(jīng)濟(jì)會(huì)變成什么樣，本身就很難預(yù)測(cè)。

即使模型研發(fā)完全自動(dòng)化并形成遞歸循環(huán)，大家也無(wú)法確定這會(huì)如何改變普通人的日常生活。Amdahl 定律在這里同樣成立。

遞歸式智能可能在某些領(lǐng)域快速實(shí)現(xiàn)巨大突破，這與《Machines of Loving Grace》中描述的愿景類(lèi)似。同時(shí)，具身智能（機(jī)器人）可能緊隨其后，并以類(lèi)似路徑繼續(xù)提升效率、降低成本。更強(qiáng)的智能可能幫助我們更快建造物理世界中的設(shè)施、更高效地推進(jìn)藥物臨床試驗(yàn)，也可能推動(dòng)新的協(xié)調(diào)機(jī)制出現(xiàn)。

但“遞歸改進(jìn)”本身，并不會(huì)立刻改變社會(huì)運(yùn)行方式、產(chǎn)業(yè)結(jié)構(gòu)或市場(chǎng)機(jī)制。再?gòu)?qiáng)的智能也無(wú)法縮短藥物在真實(shí)世界中的長(zhǎng)期觀察周期，也無(wú)法讓?xiě)椃ㄔ试S提前選舉，也無(wú)法在一個(gè)周末讓陌生人成為朋友。

在很長(zhǎng)一段時(shí)間內(nèi)，人類(lèi)生活的節(jié)奏仍然會(huì)被這些現(xiàn)實(shí)瓶頸所決定。

即便上游的“實(shí)驗(yàn)室”以計(jì)算速度運(yùn)轉(zhuǎn)，這種沖突仍然存在。而當(dāng)遞歸智能不斷加速自我改進(jìn)，并與人類(lèi)社會(huì)、關(guān)系網(wǎng)絡(luò)和治理體系發(fā)生碰撞時(shí)，這一部分的未來(lái)，恰恰也是我們目前最難預(yù)測(cè)的部分。

Anthropic 呼吁：全球頂級(jí) AI 實(shí)驗(yàn)室考慮放緩開(kāi)發(fā)步伐，自身也會(huì)跟進(jìn)

如果能夠有效放緩這項(xiàng)技術(shù)的發(fā)展，從而為人類(lèi)社會(huì)爭(zhēng)取更多時(shí)間來(lái)應(yīng)對(duì)它帶來(lái)的巨大影響，這很可能是一件好事。不過(guò)，如果這種放緩只是讓那些最不謹(jǐn)慎的參與者在技術(shù)上迎頭趕上，那么結(jié)果可能反而讓整體局勢(shì)變得更不安全。倘若沒(méi)有全球協(xié)調(diào)機(jī)制，無(wú)論是公司還是政府，都不得不在競(jìng)爭(zhēng)壓力和地緣政治壓力之下，對(duì)安全問(wèn)題做出艱難決策。

為此，Anthropic 認(rèn)為，如果世界可以選擇放緩或者暫時(shí)終止前沿 AI 的研發(fā)，從而讓社會(huì)結(jié)構(gòu)和對(duì)齊研究有時(shí)間跟上技術(shù)進(jìn)展，這對(duì)世界大有裨益。

在這之中，Anthropic Institute 透露，其也將與許多其他機(jī)構(gòu)合作開(kāi)展相關(guān)研究，并采取行動(dòng)，嘗試構(gòu)建實(shí)現(xiàn)這種可信減速或暫停所需要的系統(tǒng)。而這些系統(tǒng)的目標(biāo)，是讓前沿 AI 開(kāi)發(fā)者能夠驗(yàn)證：全球范圍內(nèi)其他參與者是否真的已經(jīng)停止或放緩了研發(fā)，以及是否存在某個(gè)行為者利用“集體暫停”的名義暗中繼續(xù)推進(jìn)。

如果這樣的驗(yàn)證系統(tǒng)能夠建立起來(lái)，Anthropic 預(yù)計(jì)，在其他處于前沿或接近前沿的開(kāi)發(fā)者也以可驗(yàn)證方式同步放緩的情況下，自己也會(huì)選擇放緩或暫時(shí)暫停研發(fā)。

要真正實(shí)現(xiàn)有效放緩或者暫停，需要多個(gè)資源充足、處于或接近技術(shù)前沿的實(shí)驗(yàn)室，在多個(gè)國(guó)家之間達(dá)成一致，并在相同條件下停止或減緩研發(fā)。同時(shí)，還需要能夠相互驗(yàn)證彼此確實(shí)已經(jīng)停止。

但 Anthropic 表示，由于 AI 系統(tǒng)本身的特殊性，這一問(wèn)題在“可檢測(cè)性”（甚至比“可驗(yàn)證性”更弱的標(biāo)準(zhǔn)）上，比以往任何技術(shù)都更加困難。訓(xùn)練過(guò)程比“導(dǎo)彈發(fā)射井”更容易隱藏，輸入數(shù)據(jù)本身是通用的，而且“秘密違約”的激勵(lì)極其強(qiáng)烈——因?yàn)橹灰幸环皆谒藭和r(shí)繼續(xù)推進(jìn)，就可能直接獲得領(lǐng)先優(yōu)勢(shì)。

一個(gè)可信的暫停機(jī)制，還必須明確：什么條件觸發(fā)暫停、什么條件解除暫停，以及由誰(shuí)來(lái)裁定這些規(guī)則。這些事情在原則上并非不可能，但這些體系往往需要數(shù)十年時(shí)間來(lái)建立信任與基礎(chǔ)設(shè)施。而我們可能并沒(méi)有那么多時(shí)間。

相比之下，單一實(shí)驗(yàn)室自行暫停在技術(shù)上是可立即實(shí)現(xiàn)的，但其作用也有限：它只會(huì)改變“誰(shuí)處于領(lǐng)先位置”，但無(wú)法形成一個(gè)更廣泛的協(xié)調(diào)與共同決策機(jī)制，而這正是當(dāng)前缺失的部分。

在接下來(lái)的幾個(gè)月里，Anthropic 透露，他們將組織一系列討論，邀請(qǐng)政策制定者、研究人員、民間社會(huì)組織以及其他 AI 公司共同參與，回答上文提出的一些問(wèn)題，尤其是關(guān)于“完全遞歸式自我改進(jìn)”以及如何建立更好的協(xié)調(diào)與討論機(jī)制。屆時(shí)也會(huì)公開(kāi)這些討論的結(jié)果。

來(lái)源：https://www.anthropic.com/institute/recursive-self-improvement

CSDN 6 月寵粉福利

200 小時(shí) GPU 算力免費(fèi)送

瑞幸咖啡/肯德基早餐/麥當(dāng)勞套餐/下午茶等能量套餐任選其一

入群還可每月定期抽取旗艦顯卡、AI PC 等極客神裝