為什么自我改進(jìn)是現(xiàn)實(shí)存在的,但它不會(huì)導(dǎo)致 AI 的“瞬間起飛”。
作者:Nathan Lambert 2026年3月23日
如今,在AI圈子里,“快速起飛”(Fast Takeoff)、“技術(shù)奇點(diǎn)”以及“遞歸自我改進(jìn)”(RSI)是每個(gè)人都在關(guān)注的話題。在當(dāng)前的AI產(chǎn)業(yè)中,這些概念確實(shí)包含著真實(shí)的成分:兩三家實(shí)驗(yàn)室正整合成為擁有最強(qiáng)模型(以及構(gòu)建下一個(gè)模型所需資源)的寡頭;當(dāng)今的AI工具正在突發(fā)性地改變工程和研究崗位。
在許多方面,AI研究正變得容易得多。雖然進(jìn)一步擴(kuò)大語言模型訓(xùn)練規(guī)模所需的技能挑戰(zhàn)依然巨大,但能夠處理這些問題的“超人級(jí)”編程助手的出現(xiàn),打破了許多關(guān)于“構(gòu)建這些東西需要什么”的舊主張。這一切正為我們在AI前沿領(lǐng)域迎來一年(或更久)的飛速進(jìn)步奠定基礎(chǔ)。
我們也正處于語言模型已經(jīng)極其出色的時(shí)代。事實(shí)上,它們已經(jīng)足以勝任大量極具價(jià)值的知識(shí)工作。很難想象語言模型還能再跨出一大步——目前還不清楚除了代碼和基于命令行(CLI)的計(jì)算機(jī)操作之外,它們今年還能掌握哪些任務(wù)。當(dāng)然,會(huì)有一些新突破!這些能力將開啟新的工作模式,并給經(jīng)濟(jì)帶來更多漣漪。
這些劇烈的變化幾乎讓人覺得,語言模型能靠自己不斷加速進(jìn)步是一個(gè)理所當(dāng)然的結(jié)論。這種說法的通俗表達(dá)是“遞歸自我改進(jìn)循環(huán)”(RSI Loop)。關(guān)于這個(gè)話題的早期探討可以追溯到2000年代,比如2008年的一篇博文:
“當(dāng)你把‘重新設(shè)計(jì)你自己的認(rèn)知算法’這個(gè)對象級(jí)問題交給AI時(shí),遞歸就發(fā)生了。”
稍早一點(diǎn),在 2007 年,尤德科夫斯基(Yudkowsky)也在《通用智能的組織層級(jí)》中定義了相關(guān)的“種子AI”(Seed AI)概念:
“種子AI是專為自我理解、自我修改和遞歸自我改進(jìn)而設(shè)計(jì)的AI。……種子 AI 的后期后果(如真正的遞歸自我改進(jìn))只有在AI實(shí)現(xiàn)了顯著的整體理解和通用智能之后才會(huì)顯現(xiàn)。”
考慮到當(dāng)今模型的通用性和實(shí)用性,認(rèn)為我們正處于這個(gè)階段的起點(diǎn)是合理的。
通常,遞歸自我改進(jìn)(RSI)可以總結(jié)為:當(dāng)AI能改進(jìn)自身時(shí),改進(jìn)后的版本能更高效地進(jìn)行下一次改進(jìn),從而創(chuàng)建一個(gè)封閉的放大循環(huán),導(dǎo)致“智能爆炸”,即所謂的奇點(diǎn)。這其中包含幾個(gè)假設(shè)。RSI要發(fā)生,必須滿足:
- 循環(huán)是封閉的: 模型能不斷改進(jìn)自身并孕育出下一代模型。
- 循環(huán)是自我放大的: 下一代模型能比當(dāng)前模型產(chǎn)生更大的進(jìn)步。
- 循環(huán)持續(xù)運(yùn)行且不損失效率: 不存在增加的摩擦力使指數(shù)級(jí)增長提前變成“S型曲線”(Sigmoid)。
雖然我同意未來幾年持續(xù)的AI進(jìn)步將帶來重大的、社會(huì)不穩(wěn)定的變化,但我預(yù)計(jì),當(dāng)我們回過頭來看時(shí),進(jìn)步的趨勢線將更接近線性而非指數(shù)級(jí)。我認(rèn)為,發(fā)生的將不是遞歸自我改進(jìn),而是“有損自我改進(jìn)”(Lossy Self-Improvement, LSI)——模型成為了開發(fā)循環(huán)的核心,但各種摩擦力打破了RSI的所有核心假設(shè)。你投入的算力和智能體越多,出現(xiàn)的損耗和重復(fù)就越多。
我依然相信,先進(jìn)系統(tǒng)的“復(fù)雜性制動(dòng)器”(Complexity Brake)將是一個(gè)強(qiáng)大的抗衡力量,抵消模型在各項(xiàng)細(xì)分任務(wù)上變強(qiáng)的事實(shí)。我在2025年4月曾引用過這個(gè)觀點(diǎn):
微軟聯(lián)合創(chuàng)始人保羅·艾倫提出了“復(fù)雜性制動(dòng)器”理論:科學(xué)越接近理解智能,取得額外進(jìn)展就越困難。對專利數(shù)量的研究顯示,人類的創(chuàng)造力并沒有表現(xiàn)出加速回報(bào),事實(shí)上,如約瑟夫·泰恩特在《復(fù)雜社會(huì)的崩潰》中所述,它呈現(xiàn)出收益遞減規(guī)律。復(fù)雜性的增長最終會(huì)自我限制,并導(dǎo)致廣泛的“通用系統(tǒng)崩潰”。
在現(xiàn)有的模型訓(xùn)練方式、模型所需的深層直覺以及構(gòu)建模型的組織中,有大量例子顯示損耗來自何處。構(gòu)建領(lǐng)先的語言模型極其復(fù)雜,而且正變得越來越復(fù)雜。我認(rèn)為核心摩擦力有以下三點(diǎn):
1. 可自動(dòng)化的研究過于狹隘
首先,很明顯,今年的語言模型已經(jīng)可以作為工具,在優(yōu)化局部任務(wù)(如降低模型的測試損失值)方面大顯身手。安德烈·卡帕斯(Andrey Karpathy)最近推出的AutoResearch讓這種做法流行起來。這允許AI智能體直接在GPU上操作,目標(biāo)是降低測試集上的損失。
這種方法在狹窄領(lǐng)域(如單一的測試損失或整體獎(jiǎng)勵(lì))有效。問題在于,“賬面上更精確的模型”與“用戶覺得更有生產(chǎn)力的模型”之間長期存在鴻溝。 縮放法則(Scaling Laws)顯示損失會(huì)持續(xù)下降,但我們不知道這是否會(huì)在經(jīng)濟(jì)上產(chǎn)生更大價(jià)值。
在后期訓(xùn)練(Post-training)中,強(qiáng)化學(xué)習(xí)算法至少與特定性能增益聯(lián)系得更緊密。但我依然擔(dān)心其泛化能力,以及它是否能真正轉(zhuǎn)化為“擅長構(gòu)建自身和設(shè)計(jì)實(shí)驗(yàn)”的模型。我們已經(jīng)看到許多 AI 能力在人類品味的某些水平上趨于飽和,比如寫作質(zhì)量。AI研究雖然不同(天花板更高),但模型會(huì)因搜索空間和優(yōu)化目標(biāo)過于寬廣而陷入飽和。最好的研究員所做的是——讓許多可擴(kuò)展的想法協(xié)同工作,而不僅僅是優(yōu)化單一指標(biāo)。
2. 并行AI智能體的收益遞減
AI快速進(jìn)步面臨的最大問題是:即使我們在數(shù)據(jù)中心擁有 10,000 名遠(yuǎn)程“AI員工”,也幾乎不可能將他們?nèi)考性谝粋€(gè)問題上。本質(zhì)上,當(dāng)模型仍然非常相似時(shí),它們是從相同的解空間和能力分布中進(jìn)行采樣,同時(shí)受到人類監(jiān)督的瓶頸限制。增加更多智能體,在邊際性能提升上會(huì)遇到嚴(yán)格的飽和點(diǎn)——少數(shù)最頂尖研究員的直覺(以及運(yùn)行實(shí)驗(yàn)的時(shí)間)將是最終的瓶頸。
![]()
這里可以用阿姆達(dá)爾定律(Amdahl’s Law)來類比:一項(xiàng)任務(wù)能產(chǎn)生的加速,取決于有多少部分可以并行化。想象一個(gè)研究員從親手寫代碼,到使用AI自動(dòng)補(bǔ)全,再到使用自主編碼智能體。這些都是巨大的飛躍。但現(xiàn)在,如果讓一個(gè)研究員每天嘗試組織30-40個(gè)智能體工作呢?有些人能從中榨取價(jià)值,但不多。你能想象有人每天能為AI智能體想出300-400個(gè)任務(wù)嗎?沒多少人能做到。這個(gè)問題很快也會(huì)撞上AI模型的瓶頸。
3. 資源瓶頸與政治博弈
從根本上說,所有AI公司都在走鋼絲:獲取巨額資本、將算力轉(zhuǎn)化為收入、同時(shí)在研發(fā)上投入天文數(shù)字。由于資源規(guī)模如此巨大,資源分配和押注目標(biāo)上總會(huì)存在政治瓶頸。即便模型持續(xù)改進(jìn),這種摩擦力也永遠(yuǎn)不會(huì)消除。AI模型從根本上是在由人類掌控資源瓶頸的組織中運(yùn)行的。百億美元規(guī)模的研發(fā)算力不太可能完全孤立出來,交給AI模型進(jìn)行端到端的自由實(shí)驗(yàn)。
結(jié)論
我們的工作確實(shí)正變得節(jié)奏更快、效率更高。問題在于,所有這些維度都有明確的人類、政治或技術(shù)復(fù)雜性瓶頸。
每一條S型曲線的底部看起來都像指數(shù)級(jí)增長。2026年會(huì)感覺像是一大步,但并沒有根本性的變化讓我相信進(jìn)步會(huì)從此“一飛沖天”。這可能會(huì)跨越所謂的AGI門檻(即能夠替代大多數(shù)遠(yuǎn)程辦公者),但這更多是改變了工作的定義。
我們正處于“有損自我改進(jìn)”(LSI)時(shí)代。AI模型正在執(zhí)行自我改進(jìn),但它們并沒有改變方法論。我們正在擴(kuò)大研發(fā)實(shí)踐和工具的算力投入,但收益在遞減。智能體將成為我們共事的自主實(shí)體,它們感覺像是天才與5歲小孩的混合體。這種“有損”的進(jìn)步足以讓行業(yè)超速運(yùn)轉(zhuǎn),但不足以支撐一場瞬間爆發(fā)的智能爆炸。
本文編譯自substack,原文作者Nathan Lambert
https://substack.com/@natolambert/p-191707266
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.