新智元報道

【新智元導讀】9650億估值的IPO野心，與全球AI急剎車的公開呼吁，Anthropic用最極端的對比，把整個行業最深的矛盾擺在了臺面上。Jack Clark說行業有油門沒剎車，我們想造那個剎車踏板。但人類還能在遞歸自我改進真正閉環前，安裝好那塊踏板嗎？

上周，Anthropic做了兩件大事。

6月1日，該公司向美國證券交易委員會（SEC）秘密提交了S-1文件，這是邁向10月上市的第一步，屆時估值接近9650億美元。

6月4日，聯合創始人Jack Clark和研究所負責人Marina Favaro發表了一項提案，呼吁全球暫停AI研發，避免AI失控。

關鍵的轉折點是：

到今年5月，合并到Anthropic自己代碼庫中的代碼，超過80%是由Claude編寫的。

遞歸自我改進的論點，就濃縮在這么一個數字里。

在接受采訪時，Anthropic聯合創始人Jack Clark揭示了Anthropic為何建議暫停AI研發：

現在的情況是，AI行業有油門，但沒有剎車。

我們想做的，就是為打造那個剎車踏板貢獻一些力量。

遞歸自我改進，既令人向往，又令人憂心忡忡。

或許，這解釋了為什么Anthropic一邊踩油門沖刺IPO，一邊呼吁全球AI急剎車。

現在，只有一個問題：AI自我遞歸改進，意味著AI即將脫離人類控制嗎？

Jack Clark驚人預判：AI自我加速

Anthropic聯合創始人Jack Clark預判，到2028年底，AI能夠在沒有任何人類參與的情況下，自行創造出下一代產品的概率高達60%。

那一刻將標志著「遞歸自我提升」閉環過程的開始。

這并不全是炒作，AI行業已開始認真對待「遞歸自我提升」。

Anthropic還在談遞歸自我改進（recursive self-improvement，RSI），Sakana已經動手了，成立了AI RSI Lab！

他們甚至都設想了AI遞歸自我改進的軌跡圖。

此前，原特斯拉AI負責人、OpenAI創始成員Andrej Karpathy（人類智能的頂尖代表）在優化模型時，被他放手不管的AI智能體Autoresearch在短短數天內超越了18%。

DeepMind的模型在沒有人類干預下，自主優化算法，為谷歌節省了全球0.7%的算力，并將旗艦模型Gemini的訓練速度提升了1%。

在這一目標達成之前，AI驅動的研發（R&D）加速效應可能就已經顯現。

根據喬治敦大學內部智庫安全與新興技術中心（CSET）在1月份發布的一份報告，「隨著由AI系統執行的AI研發比例的增加，其相較于純人類研發的生產力提升」可能會增加十倍、百倍，甚至千倍。

傳送門：https://cset.georgetown.edu/wp-content/uploads/CSET-When-AI-Builds-AI.pdf

報告警告稱，在這種情景下，即使AI研發的某些方面在最初難以實現自動化，「加速的進展速度也意味著這些瓶頸很快就會被克服?！?/p>

根據METR的基準測試：在2025年初，AI模型只能處理需要人類工程師花費不到1小時的任務；而到了2026年中，AI已經能夠熟練解決需要人類連續工作一整天以上（超過8小時）的復雜系統級任務。

這種能力的陡峭躍遷，正是JackClark做出那個驚人預判的底氣。

自我遞歸提升，無限放大的善與惡

AI「自我遞歸提升」，是行業的共識。

但沒有人確切知道「自我遞歸提升」會帶來什么后果。

因為與人類不同，AI可以不知疲倦、持續不斷地工作，一些人認為它會在短時間內催生出超級人工智能ASI——即所謂的「快速引爆」（fast take-off）。

為什么我們對機器的自我改進感到恐懼？因為機器的進化，踩在了一個致命的偏科陷阱上。

目前，AI所有的自我提升，幾乎都發生在擁有「可驗證獎勵」（Verifiable Rewards）的領域。

在軟件代碼、數學證明等非黑即白的世界里，AI可以通過自我博弈產生海量的「合成數據」來自我訓練，而不用擔心「模型退化（Model Collapse）」的風險。

但是，人類社會賴以生存的基石——倫理、道德、法律判斷、同理心與安全對齊，無法被簡單「驗證」。

這就導致了一個極其危險的結構性傾斜：

• 機器自我升級「智力」與「力量」的速度，正處于光速運行的閉環通道里；

• 機器理解人類「善意」與「控制」的速度，卻被卡在泥濘、緩慢、無法標準化的主觀泥潭里。

麻省理工學院物理學家Max Tegmark將其比作「司機在高速公路上閉著眼睛踩油門」。

司機不僅閉上了眼睛，而且他踩下的油門，正在通過遞歸改進被無限加強。

AI末日論者擔心，ASI將超出人類的控制，而「遞歸自我提升」的開始，正是人類命運被移交給機器的時刻。

然而，一個能夠自我提升的AI可能也會面臨速度限制，至少在初期是這樣。

AI即將脫離人類控制嗎？

通往超級智能的道路上還堆著幾包沉重的「物理沙袋」：

算力的實體約束（Hot Chip）

即便AI的算法優化再精妙，新一代模型的訓練依然高度依賴物理實體的建設——更多的電網、更多的散熱系統，以及需要數年時間籌備的大型數據中心。

就在Anthropic呼吁全球暫停AI開發的第二天——6月5日，星期五，費城半導體指數遭遇了自2020年3月以來最慘烈的一天，單日暴跌超過10%，高達1.3萬億美元的芯片市值在一夜之間灰飛煙滅。

暴跌的導火索是博通（Broadcom）略顯疲態的第三季度AI芯片銷售指引，以及AMD和英特爾超過10%的暴跌。

在這場史詩級閃崩的背后，是整個AI產業鏈正在觸碰硬性的物理天花板：內存芯片吃緊、電網負荷超載、以及互連帶寬的瓶頸。

算力的分流紅利

正如CSET臨時執行董事所言，普通大眾對AI消費級應用的爆發（如日常對話、工具使用），會大量分流原本可用于前沿RSI閉環研發的算力，這在物理上拖慢了AI狂飆的速度。

雖然科研人員最近構建出了能在單個設備上利用光子學（Photonics）生成、引導和讀取信息的芯片，試圖用光代替電子來擊穿傳輸瓶頸，但這依然處于早期階段。

制約AI規模進一步擴展的瓶頸，已經不再是「原始算力」有多少，而是數據在芯片之間傳輸的「帶寬」與「功耗」。

1.3萬億美元的蒸發，本質上是資本市場開始為AI的內在矛盾定價：AI能力與算力的擴張野心，正在狠狠撞擊人類物理世界的電網、產能與原材料極限。

致命的「鋸齒狀前沿」

系統的整體演進速度，往往取決于它最慢的那塊短板。

要讓AI實現真正、不受控的指數級自循環，它必須將整條AI研發鏈條上的每一個專業環節實現閉環自動化。

這是一場由四個關鍵兵種組成的接力賽：

• 數據科學家提供算法的理論假說；

• 程序員將其轉化為高效的底層代碼；

• 系統工程師搭建可承載千億參數的算力底座；

• 對齊與安全團隊在終點拉起紅線，確保模型不滑向失控與毀滅。

然而，這條戰線在現實中并沒有齊頭并進。

相反，它呈現出一種極度不均衡的、犬牙交錯的「鋸齒狀前沿」（Jagged Frontier）。

然而，這種不均衡不僅沒有成為人類的防線，反而構成了RSI最致命的毒藥。

但沙袋，只能阻擋潮水一時。

目前全球最大的系統漏洞在于，我們現有的監管、法律與安全框架，仍然在用「人類速度」運行。我們習慣于在事故發生后起草法案，習慣于在商業巨頭完成壟斷后才進行反壟斷調查。

當機器開始自己譜寫未來的代碼，留給人類修改錯別字的時間，真的已經不多了。

參考資料：

https://x.com/TheEconomist/status/2063680053393694909?s=20https://www.economist.com/science-and-technology/2026/06/07/will-artificial-intelligence-soon-escape-human-controlhttps://cset.georgetown.edu/publication/when-ai-builds-ai/

https://x.com/zaibatsu/status/2063769592925687933

https://sakana.ai/rsi-lab/

https://spectrum.ieee.org/recursive-self-improvement

編輯：大衛