近期,Anthropic公開呼吁全球暫停AI開發(fā),原因是“AI正在以驚人速度加速AI自身的開發(fā)進程”。這樣的進程被稱為之Recursive Self-Improvement(遞歸自我改進),即AI系統(tǒng)無需人類干預、能自主設計并改進自身的能力。而這個方向,正是Meta前FAIR研究總監(jiān)田淵棟官宣估值46.5億美元的新實驗室Recursive Superintelligence(RSI)正在押注的賽道:用AI實現(xiàn)AI的自進化。
這家由8位頂級AI研究員聯(lián)合創(chuàng)辦的新AI實驗室成立于2026年初,在經(jīng)過約4個月的隱身開發(fā)后,于5月正式官宣亮相。首輪融資6.5億美元,成為全球最受矚目的新一代AI實驗室之一。
![]()
在當前AI競爭愈發(fā)激烈的背景下,RSI究竟想做什么樣的事情?為什么資本會如此看好他們?
在半年前我們跟田淵棟的對談中,他曾經(jīng)提出了有一些非常出圈的結(jié)論,比如說“LLM是悲觀的未來”等等。如今半年過去了,面對日新月異的AI市場的格局,他又是如何看待當前的模型技術的趨勢與瓶頸呢?
在此次的訪談中,對于當前大公司加速“蒸餾”員工、普通人的職業(yè)位置越來越不穩(wěn)定這一現(xiàn)實問題,田淵棟用了一個很形象的比喻:未來如果總想著在大廠之間跳來跳去,可能就像一條不斷跳出魚缸的魚,但水卻在越來越少。最終,你得變成一個“四維生物”,才能活下來。
那么在AI時代,我們該如何找到自己的意義,而不被時代推成一顆螺絲釘?
此次是硅谷101Neolabs特輯的第二期視頻播客。
(本文為視頻改寫,歡迎大家收看以下視頻)
01
從大廠到新實驗室
為什么選擇RSI
陳茜:非常感謝淵棟,歡迎來做客硅谷101。
田淵棟:非常感謝你們又過來,我們可以繼續(xù)下一輪的采訪。
陳茜:距離我們上次聊天已經(jīng)過了半年的時間。當時你剛從Meta出來,你告訴我,已經(jīng)有很多的團隊和公司在與你接洽。現(xiàn)在你正式官宣加入了RSI,能不能先談談,為什么最后選了這家公司?
![]()
田淵棟:實際上,在接受上一次采訪時,我基本已經(jīng)做出了決定。確實是一個比較快的決定過程。在10月底到11月初那段時間里,我的手機消息幾乎處于“爆炸”狀態(tài),很多信息都來不及一一回復。
最后之所以選擇RSI,首先是因為我想體驗下不一樣人生。因為我也是個小說家,我認為體驗人生本身就是非常重要的事情。另外一方面,我判斷大模型行業(yè)正在發(fā)生一種趨勢:團隊會變得更小,速度會更快,組織之間的摩擦會更少。“小而精”的團隊把事情做成,并逐漸演變?yōu)榇筅厔荨T谶@樣的背景下,繼續(xù)待在大公司里,可能并不再那么合適。事實上,我也親眼見過很多大團隊存在各種各樣的問題。
02
8位聯(lián)合創(chuàng)始人
為什么資本愿意買單
陳茜:我相信當時也不只是RSI這一個初創(chuàng)公司,或者是neolab來找你。Richard Socher也親自來找過你,那你為什么最終選擇了RSI?
田淵棟:主要有兩個原因。第一,RSI是剛剛組建的團隊,因此我當時和Richard、熊蔡明、Tim Shi、Tim Rockt?schel都聊過。我覺得,對于一個剛組建的團隊,機會本身就更大。第二,團隊里面有兩三個人我之前就認識,其中像Tim Rockt?schel還是我在Meta的同事,他之前也一直在做強化學習,所以彼此更熟悉。
當然,其他不少初創(chuàng)團隊也來找過我,但很多時候,他們給出的角色更像是head of AI或head of research,而不是聯(lián)合創(chuàng)始人。既然要創(chuàng)業(yè),當然還是做co-founder更合適。
![]()
陳茜:RSI有8位聯(lián)合創(chuàng)始人,這一點非常少見。你們是怎樣的一個架構(gòu)?
田淵棟:我覺得主要是因為每位聯(lián)合創(chuàng)始人的專業(yè)知識都不同,彼此之間是互補的。每個人都有自己的長處,也能欣賞別人的長處,而且大家都足夠聰明,所以8個人合作起來相對順暢。
陳茜:能不能跟我們介紹一下這8位聯(lián)合創(chuàng)始人分別負責什么?
田淵棟:當然可以。Richard Socher一直更偏CEO的角色。此前他在Meta創(chuàng)立了MetaMind,然后被Salesforce收購了;進入Salesforce后,他擔任了4年首席科學家。之后他又創(chuàng)辦了You.com,如今已經(jīng)實現(xiàn)盈利。這次他再次回到創(chuàng)業(yè)狀態(tài),成為RSI的CEO。
![]()
熊蔡明此前也與Richard一起在MetaMind工作,后來隨著公司被Salesforce收購,一起進入Salesforce。Richard離開后,熊蔡明在Salesforce Research擔任高級副總裁,并在那里工作了十多年。
另外,Tim Rockt?schel也是RSI的重要成員。我和他在Meta就是同事,后來他去了Google DeepMind,負責Project Genie 1、2、3以及agent Open-Endedness相關工作,這些方向與我們現(xiàn)在做的事情非常接近。他在Google的口碑一直很好,因此在我們?nèi)谫Y過程中也起到了很大作用。
Jeff Clune長期專注于agent Open-Endedness方向,過去十年都在這一領域深耕,他最近發(fā)表的The AI Scientist-v2甚至已經(jīng)被Nature收錄,學術影響力很強。
Josh Tobin早年是OpenAI的員工,后來自己創(chuàng)業(yè),公司又被OpenAI收購,之后他回到OpenAI做agent科學主管,在工程和agent方向都有豐富經(jīng)驗。
Alexey Dosovitskiy則是我很早以前就認識的人,我們當年都做強化學習,后來他去了Google,參與Vision Transformer相關工作,并成為一作;之后又去了一些AI for Science公司,現(xiàn)在也加入了RSI。
還有Tim Shi,他之前是Cresta的CTO,在那家公司工作多年,也把公司做得非常好,如今對“遞歸”這條路線很感興趣,因此辭去原有職位,加入RSI擔任聯(lián)合創(chuàng)始人。
陳茜:這么多頂級研究員和行業(yè)從業(yè)者聚在一起,彼此不會有分歧嗎?如果意見不同怎么辦?
田淵棟:我們整體上還是比較民主的。團隊里會有很多討論,也會有很多思想上的碰撞。最終大家通常會在一些想法和邏輯上達成一致,然后一起推進。目前為止,合作還是比較順利的。大家都是聰明人,和聰明人合作,通常更省心,彼此都希望把事情做好,把盤子做大。
陳茜:這輪融資規(guī)模也非常引人注目,6.5億美元融資,46.5億美元估值,而且是在沒有產(chǎn)品的前提下。為什么資本會愿意買單?
田淵棟:我認為最頂級的資本看重的還是人。AI領域變化太快,很難在一開始就把商業(yè)愿景和產(chǎn)品路徑講得非常清楚。今天說要做的事情,兩個月后就可能因為新的技術進展而變化,這時候團隊能不能快速反應、快速執(zhí)行,就顯得極其重要。所以資本看重的,首先是對人的判斷,包括過去的履歷、能力,以及團隊成員之間的磨合與協(xié)作程度。融資額之所以能到這個規(guī)模,最核心的原因還是投資人認可我們過去的經(jīng)歷,也認可我們對這一愿景的投入。
陳茜:你在其中主要負責什么?上次我們聊的時候,你說下一份工作想做工程和前沿研究結(jié)合的崗位。
田淵棟:其實我當時說那句話的時候,就已經(jīng)知道自己大概會來這里了,但是我不能提前說。現(xiàn)在到了RSI,確實也是工程和前沿研究結(jié)合的工作。我和蔡明過去主要做modeling(建模),比起純研究,我們也會繼續(xù)做建模、后訓練等工作。同時在工程層面,我們也會做一些agentic harness(智能體控制)相關的事情。
03
遞歸自我改進
押注AI自動化科研
陳茜:接下來我們就聊聊RSI。RSI的全稱是Recursive Superintelligence。recursive,它的中文叫遞歸式,是一個非常關鍵的詞。能不能解釋一下,RSI主要想做什么?Recursive self improvement(遞歸自我改進)到底是什么意思?為什么你們認為它很關鍵?
![]()
田淵棟:Recursive self improvement(遞歸自我改進)的意思是,用AI去優(yōu)化AI自己的一些環(huán)節(jié),讓AI變得更強,然后再在新的基礎上繼續(xù)向上迭代。具體來說,我們希望讓AI去做很多現(xiàn)在仍然需要人工完成的事情,比如科學家尋找新的想法、新的邏輯,或者在訓練過程中利用AI做強化、做新的發(fā)現(xiàn)。這些都屬于recursive(遞歸)的一部分。我們的最終愿景,是建立一個系統(tǒng),把各種計算資源放進去之后,能夠輸出新的知識、新的見解和新的洞察力。RS網(wǎng)站上寫的是maximizing knowledge discovery rate(最大化知識發(fā)現(xiàn)速率),也就是最大化知識發(fā)現(xiàn)速率。通過這種方式,我們希望加快人類社會進步的速度,提高人類發(fā)現(xiàn)和理解新知識的能力。
陳茜:目前我們看到,OpenAI、Anthropic、Google等前沿大模型公司,主流做法還是依賴人類設計模型、收集數(shù)據(jù)、大規(guī)模訓練,再進行人工標注和對齊。你之前提到過,人類在這條路上可能是一個瓶頸。你們押注的是讓AI自動化研發(fā)過程,是這樣嗎?
田淵棟:是的。現(xiàn)在人類或者研究員在做研究、做AI發(fā)現(xiàn)時,絕大部分時間其實都受到自身生理條件的限制。人需要吃飯、睡覺、休息,不可能100%的時間都投入到研究里。所以,如果AI至少能代替一些繁瑣、繁重、重復性的工作,這一定是可行的,也是第一步。第二步則是,AI能不能在這些基礎勞動之上,進一步自動發(fā)現(xiàn)新的洞察和重要信息,從而加速整個AI和人類社會的發(fā)展進程。
陳茜:那AI系統(tǒng)學會的東西,究竟是真正能力上的提升,還是在某個評估指標上的過擬合?
田淵棟:我當然希望最終帶來的是能力上的提升。比如說,AI現(xiàn)在可能只能完成本科生能做的事情,我們希望它未來可以做到碩士生、博士生,甚至研究員層面的工作。至于benchmark(基準測試),它本質(zhì)上只是實現(xiàn)目標的一種手段。刷榜、沖榜這些指標,本身還是比較表層的;真正拆解到具體步驟,每一步都可以對應某些metric(指標)。更重要的是,AI在更高層次上到底能不能完成真正有價值的任務。
陳茜:如果AI系統(tǒng)開始自主設計實驗、自主評估結(jié)果,人類還可以作為一個可靠的評判者嗎?你們怎么去解決evaluating the evaluator,也就是“評估者本身也需要被評估”這個遞歸難題呢?
田淵棟:至少在目前階段,AI還達不到人類的評估標準,所以短期內(nèi)人類依然可以作為評判者,這沒有問題。另一個層面是,等AI強到一定程度后,很多評估標準會變得主觀,而不是絕對客觀。比如讓AI寫代碼,很多時候人類對于代碼結(jié)構(gòu)、模塊劃分、設計方案的理解并不完全一致。這種情況下,所謂“正確答案”本身就未必存在,每個人的判斷都可能有道理。因此,未來的評估可能會從中間的benchmark(基準測試),逐漸轉(zhuǎn)向最終結(jié)果,也就是看人和AI結(jié)合后產(chǎn)出的東西,是否真正有用、是否令人滿意。
04
當AI開始研究AI
可解釋性為什么重要
陳茜:在這樣的情況下,可解釋性這件事情還重要嗎?
你之前也提到過,無論scaling最終成功還是失敗,可解釋性都是必須解決的問題。若模型成功了,我們需要確保超級智能不會作惡;若模型失敗了,我們也需要理解它為什么會在某些地方崩潰。
那在RSI這條路上,當AI可以自己修改代碼或權(quán)重,甚至可以自行設計一系列實驗時,可解釋性會不會變得更加困難?
田淵棟:我認為這件事非常重要,而且比過去更重要。首先,安全性是一個核心問題。我們在發(fā)布Recursive的時候,就非常注重做安全的超級智能。關于安全這部分,一個重要方案就是通過可解釋性來實現(xiàn)。因為如果我們對模型內(nèi)部機制有理解,對它的運行方式有把握,就能大致判斷這個模型未來可能帶來什么樣的威脅和問題,所以這非常關鍵。
另外,可解釋性本身也提供了一個非常好的指標,幫助我們更快找到想要的結(jié)果。以recursive self improvement(遞歸自我改進)為例,它背后意味著大量算力投入。比如訓練一個模型,可能需要幾千塊卡、幾萬塊卡。如果我們對模型本身并不了解,往往只能等訓練結(jié)束之后,再去預測或評估這個模型到底好不好。這樣一來,速度就會很慢。
如果有可解釋性,我們是不是可以把評估前置?如果能在訓練過程中更早判斷模型的方向和表現(xiàn),就有可能顯著提高運算效率。所以我認為,可解釋性在這個過程中扮演著非常重要的角色。
陳茜:你們的設想,是讓AI系統(tǒng)長期自主運行,去追求研究者定義的目標,同時產(chǎn)生出超出人類預想的新思路。但“超出人類預想”和“失去控制”之間的邊界在哪里?你們準備用什么機制來保證這條線不會被越過?
田淵棟:我覺得關鍵還是可解釋性。如果我們知道模型在探索過程中到底發(fā)現(xiàn)了什么,就可以讓人類去做評估;如果模型內(nèi)部機制本身也能被審查,我們就能據(jù)此判斷它到底是越界了,還是只是發(fā)現(xiàn)了新的東西,并沒有越界。這一點非常重要。我們甚至還可以用另一個模型去驗證這個模型是否可靠,這些方法都是可行的。
所以,在這種越來越困難的問題上,我們希望模型既能找到一些人類做不到的事情,同時又是安全的。既然我們不能親自替模型去發(fā)現(xiàn)新東西,就必須理解模型是怎么想的、怎么推理的,以及它是不是產(chǎn)生了一些過于激進、已經(jīng)超出我們預期的想法。要做到這一點,歸根結(jié)底還是需要可解釋性。
05
人類洞察力 vs. AI自主性
新的科研協(xié)作模式
陳茜:我記得你之前談到過自己用GPT-5的一些感受。當時你也說,模型確實能夠幫你做很多事情,但它仍然缺乏高層次的人類洞察力和專業(yè)知識,因此目前還是需要人類去引導。可RSI的路線和目標,恰恰是希望AI能夠自主提出實驗假設、自主驗證,也就是說,要把原本依賴人類洞察力的過程進一步自動化。你怎么理解這背后的矛盾?還是說,現(xiàn)在技術其實已經(jīng)有了進展,也因此改變了你的想法?
田淵棟:可以這樣理解。正因為現(xiàn)在AI還做不到,所以我們才希望它未來能做到。這就是我們的邏輯。
陳茜:所以你們選擇的是一條更難的路線。
田淵棟:是的。正因為AI現(xiàn)在還做不到,這才意味著未來研究員還有很大的發(fā)揮空間。當然,我們也希望讓AI逐步具備這些能力,這一點非常重要。
但這件事本身并不是一個簡單的“做不到”和“做得到”的二元問題,它不是從0到1的絕對跨越,不像無人車那樣,必須做到百分之百正確,否則就會發(fā)生事故。
所以它其實有很多層次。也許今天AI只能寫代碼,明天它能讀論文,但還理解不了問題的本質(zhì);后天,它可能已經(jīng)能理解一點點了,但仍然無法處理更復雜的問題。它是一層一層往上走的,所以中間有一條很深的階梯。
這座階梯我們能爬到什么程度,現(xiàn)在還不知道,但至少我們可以往上爬一步。每往上一步,都會帶來大量新的應用場景和新的可能方向。對研究員來說,當然是希望勇攀科學高峰,這本來就是一件很有吸引力的事情。
陳茜:如果說你們的最終目標是10,那么你覺得我們現(xiàn)在大概處在什么階段?
田淵棟:我覺得我們現(xiàn)在大概還在1到2、2到3這個階段。甚至可以說,我們現(xiàn)在可能還是0.5。因為這條階梯本身非常高,而且它到底能有多高,我們現(xiàn)在并不知道。
如果假設人類能力的邊界是10,那么我們現(xiàn)在可能只是在1到2的位置上。可一旦越過人類的邊界,后面也許還有100,只是那部分我們目前還不知道。
陳茜:就是要翻過那座山,才能看見后面的山有多高。
田淵棟:是的。而且到了那個時候,人類能力的邊界會往上走,因為我們會發(fā)現(xiàn),AI的能力已經(jīng)超過了過去人類的最優(yōu)水平。
![]()
比如最近OpenAI就已經(jīng)發(fā)現(xiàn)并證明了一些完全非平凡的定理。對以前的人類來說,這種事情是很難想象的。但現(xiàn)在你會發(fā)現(xiàn),AI證明定理的新聞越來越頻繁,過去那些原本很難完成的定理,正在被不斷推進、不斷完成。我相信,未來這種情況還會繼續(xù)出現(xiàn)。
06
“語言不是思考本體”
Coconut與新推理路線
陳茜:你在Meta時,一個比較重要的工作方向就是Coconut(連續(xù)思維鏈)。這一方法的核心,是讓AI在連續(xù)的潛在空間中進行推理,也就是Latent reasoning(潛在空間推理)。我很好奇,Coconut(連續(xù)思維鏈)相關的研究在RSI里是否還會繼續(xù)推進?你如何看待當前的Chain of Thought(思維鏈)路線,以及你接下來的研究工作,會不會在這個方向上繼續(xù)往前推演?
田淵棟:我想這條路線應該還是會繼續(xù)做下去,這一點沒有問題。當然,具體細節(jié)上我們畢竟是一家公司,所以很多內(nèi)容不方便講得太細。
但整體來說,如果我們有一套很好的machinery,也就是一套能夠支持自動化研究和自動化理解的系統(tǒng),那么我們就可以繼續(xù)用這套系統(tǒng)推進研究。這樣一來,我們的研究會更像一個產(chǎn)品:我們可以把系統(tǒng)做得非常厲害,然后拿出很好的結(jié)果;這些結(jié)果既可以發(fā)表,也可以直接展示給大家。至于它是怎么做出來的,我們完全可以把其中的關鍵機制作為一個黑盒,作為公司的核心方法。
陳茜:明白。剛才我們也提到了Latent reasoning(潛在推理)。那你會認為,當前的Chain of Thought(思維鏈)路線是錯的嗎?
田淵棟:我不認為當前的Chain of Thought(思維鏈)路線是錯的。它很實用,大家也都在用,所以肯定不能說它有問題。但我一直覺得,人類在思考問題時,最終還是需要某種非語言的媒介。至少對我來說,真正思考時并不總是依賴語言。很多時候,思考過程里會有圖像成分,也會有一些說不清、道不明的思路;直到我在這個思路中發(fā)現(xiàn)一個問題,把它寫下來,轉(zhuǎn)化成語言。所以,語言更多時候是一種解釋工具,而不是思考本身,更不是訓練的全過程。
如果通過Latent reasoning(潛在推理)來進行思考,那么它在推理過程中的效率是要高于語言思維的。原因就在于,latent token能承載的信息量,往往比語言token更高。它可以同時保存幾種不同的思路,讓這些思路并行存在,最后從中選出一條正確路徑。但如果用語言去思考,就必須把每一條思路都人工寫出來。
陳茜:你覺得現(xiàn)在有哪些公司比較重視這個方向?
田淵棟:我聽說Anthropic的Mythos model采用的是Looped Transformer,不過我也不確定這個消息是否準確,這只是一個可能的路徑。之所以會有這樣的猜測,是因為大家看到Mythos在一些圖搜索問題上的表現(xiàn),比之前的模型好很多,所以會懷疑它是不是使用了新的架構(gòu)。當然,這種問題你去問Anthropic他們,是不會得到明確回答的。
07
頓悟與泛化
重新理解預訓練
陳茜:你之前其實有跟觀眾分享過AI模型頓悟的研究。能不能再展開講講?另外,最近在這個方向上有沒有研究上的新進展?
田淵棟:新的進展我就不展開說了,因為我們這邊也比較保密,不希望有新的結(jié)果一出來就馬上公開。
不過這項研究我們肯定還是在繼續(xù)做的。實際上,那篇文章發(fā)出來之后,我收到了不少來信,很多人都表示很感興趣,還有人告訴我,他們在此基礎上做了extension(拓展),希望我能幫忙看一看。其實我挺開心的,因為有很多人愿意和我一起討論這個問題。
![]()
圖片來源:arxiv.org
我覺得“頓悟”本身是一個非常有意思的問題,它研究的是模型如何從記憶走向泛化的過程。而這個過程本身,某種程度上也許能夠幫助我們揭開整個神經(jīng)網(wǎng)絡訓練機制的一部分秘密。那篇文章的核心邏輯是:在一些較為具體、結(jié)構(gòu)化的數(shù)據(jù)輸入下,我們能夠非常清楚地觀察到模型從記憶轉(zhuǎn)向泛化的過程。這個過程甚至可以用一個相對清晰的數(shù)學形式來描述,比如能量函數(shù)。
在數(shù)據(jù)不足的時候,這個能量函數(shù)的最小值往往對應的是記憶解;但當數(shù)據(jù)量足夠大、達到一定程度之后,這個能量函數(shù)的結(jié)構(gòu)就會突然轉(zhuǎn)向頓悟解,也就是泛化解。這個轉(zhuǎn)變過程,就是我們所說的“頓悟”。而且我們還可以進一步知道,到底需要多少數(shù)據(jù),才能促成這樣的變化。
所以這其實是一個很有意思的過程。如果我們把它理解清楚了,或許就能更好地理解神經(jīng)網(wǎng)絡的訓練機制,也能更有效地提升訓練效率。
陳茜:這個方向我理解還處在比較早期的階段。那我們現(xiàn)在大概知道需要多少數(shù)據(jù),才能發(fā)生這種變化?
田淵棟:對,這篇文章整體還是比較偏理論的。按照我們當時的設定,如果總數(shù)據(jù)量是M平方量級,那么大概只需要Ml og M量級的數(shù)據(jù),就有可能發(fā)生這種轉(zhuǎn)變。也就是說,它可能比線性增長稍微多一些,但和總數(shù)據(jù)量相比,仍然少很多。大致是這樣一個過程。
陳茜:你們的實驗室會從pre-training(預訓練)從頭開始做嗎?
田淵棟:我們都在嘗試。pre-training(預訓練)之所以是一個值得做的方向,是因為它本身的訓練過程相對比較平滑,loss curve(損失曲線)也比較穩(wěn)定,所以其實是一個不錯的方向。
陳茜:所以你們什么都會自己做?
田淵棟:會有一些。至少目前我們還處在探索階段,所以不同方向都會嘗試。
08
商業(yè)化思考
RSI如何規(guī)劃研發(fā)路線
陳茜:在產(chǎn)品和商業(yè)化方面,你們有沒有一些思考?
田淵棟:有,我們現(xiàn)在已經(jīng)有一些比較明確的想法了。首先,我們這個團隊本身就是一個非常務實的團隊,超過一半的人都曾經(jīng)創(chuàng)業(yè)過,也都清楚怎么把事情真正落地,怎么把產(chǎn)品做好,怎么滿足用戶需求。
所以我們內(nèi)部討論的時候,很多話題都很接地氣,關注的也都是很實際的問題:這個東西能不能用,那個東西能不能用,能不能產(chǎn)生商業(yè)價值。與此同時,self improvement(自我改進)這個方向本身也有很多事情可以做,很多東西可以實現(xiàn)。比如說,我們能不能訓練出一個模型,讓大模型推理變得更快,從而提升推理速度和推理效率?這當然是有可能的。再比如,我們找到一種新的訓練方案,這種recipe(訓練方案)是否能夠帶來更好的結(jié)果?這些都可以商業(yè)化。
另外,如果我們能把模型本身、尤其是人類在做研究時的思維方式建模得足夠好,那么它甚至可以被用來完成一些原本只有人類才能做、而且難度很高的研究工作,這同樣是可以商業(yè)化的。整體來看,這個方向目前還是比較開放的,還有很多事情可以做。
陳茜:你們現(xiàn)在一共是8個人,那在你們內(nèi)部,是否已經(jīng)形成了一個比較清晰、并且共識度很高的技術路線圖?
田淵棟:對,我們差不多已經(jīng)有了一些。
陳茜:我之前看到有報告說,你們第一步是要訓練一個具備5萬名博士能力的系統(tǒng),把AI科研本身自動化,然后計劃在今年年中左右推出一個Level 1的自主訓練系統(tǒng)。那這個Level 1的系統(tǒng),具體會具備什么能力?能不能展開講講?
田淵棟:這個我就不評論了,因為太細的內(nèi)容我們不方便公開。
陳茜:明白。那在Level 1 之后,后面肯定還會有Level 2、3、4,對吧?大概的迭代速度能不能透露一下?
田淵棟:我們現(xiàn)在的計劃是,在最初的一年到一年半里,把這個系統(tǒng)先扎實做好,深入推進。之后再想辦法讓它真正落地,找到更好的應用場景。大致就是這樣的節(jié)奏。
陳茜:我看到Socher之前在采訪里說,構(gòu)建你們設想中的技術,可能需要好幾年的時間。那在你自己的判斷里,RSI從自動化科研,到真正的遞歸自我改進,再到超越人類能力,這幾個階段大概會在什么時間點實現(xiàn)?我們需要多長時間才能完成這件事?如果要實現(xiàn)這樣的突破,技術上有哪些關鍵的信號?
田淵棟:我覺得這件事還是要幾年的時間。不過現(xiàn)在確實是一個很好的切入點。因為在這個時間點上,大家已經(jīng)開始形成共識:未來的研究、新知識的獲取和發(fā)現(xiàn),肯定還是讓AI來做。因為人沒有足夠的時間和精力去看那么多文獻,也不具備AI那樣廣博的知識儲備和近乎無限的時間精力。AI則不同,它可以同時并行處理很多任務,所以這件事本來就是一個趨勢,沒什么疑問。
另外,這個時間點好的地方在于,大家現(xiàn)在其實都還不知道具體該怎么做,整個領域仍然處在探索階段。這樣的階段很適合開始一件事:大家都有興奮感,但方法還沒被完全想清楚。這樣的旅程會很長,可能要持續(xù)好幾年,才會慢慢看到結(jié)果,但我認為這件事最終一定會發(fā)生。
從技術上看,這條路線比較好的一點在于,它到每一個層次都具有應用價值,不像有些方向,要么全部做成,要么全部失敗。比如做新材料、核聚變或者超導解決方案,這類方向的賭注很大,往往要么100%成功,要么就沒有結(jié)果。但self improvement(自我改進)不是這樣,它每向前推進一步,都會帶來一些實際價值。所以整體來看,這條路徑是比較平緩、也更有確定性的,這也是我對它比較有信心的原因之一。
陳茜:這點其實很有意思,因為我也想問,為什么你們要把自動化AI科研作為第一步?畢竟相比一些更容易商業(yè)化的方向,比如ToB企業(yè)服務或者消費類產(chǎn)品,它的商業(yè)化難度會更高。那為什么你們會選擇它作為起點,而不是一個更容易產(chǎn)生收入的方向?
田淵棟:因為如果你想做一個更容易產(chǎn)生收入的方向,首先會面臨一個問題:你今天用來賺錢的那項技術,明天或者下個月會不會就被AI取代了?這其實是硅谷,或者說很多投資人非常大的一個顧慮。
當然,今天你可以組建團隊去做某個具體方向,比如語音陪伴、聊天助手,或者把某個垂直場景做得很好。但過去三年已經(jīng)有很多案例證明,為某個特定任務做的模型,未來很可能會被更一般化的大模型取代,或者直接覆蓋掉。
所以在有這種顧慮之后,我覺得更應該把目標放得長遠一點。我們希望押注的是一個范式,也就是“自我進化”這個范式。只要這個范式不變,我們公司的立場就不會變。然后在這個范式之下,再去看有哪些好的應用、有哪些可以商業(yè)化的機會。我覺得這是一個更穩(wěn)妥、也更長期的立足點。
09
為什么是現(xiàn)在
做RSI最好的時機
陳茜:我看到Socher之前在采訪中提到,希望未來能夠?qū)SI的應用范圍擴展到物理學、化學、臨床醫(yī)學、生物學等領域。在你們的愿景里,RSI未來具體會應用于哪些場景?你們最希望服務的用戶群體是誰?
田淵棟:RSI for Science(科學)當然是其中一個重要方向。
如果我們能夠?qū)茖W研究的過程本身建立起模型,理解人類是如何獲取知識、獲取信息的,如何得到新的假設、構(gòu)建新的邏輯,又如何完成驗證,并最終產(chǎn)生有價值、非平凡的研究成果,那么這套能力就不僅僅能夠用于科研,而是能夠應用到很多領域。
像我們剛才說的AI for Science這樣的一些方向,這已經(jīng)是一個非常大的市場。與此同時,如果我們能夠通過這種方式提高研究人員的效率,提高整個研究過程的自動化程度。例如,它可能幫助提升大模型訓練的效率,而這本身就是一種非常重要的商業(yè)化路徑。
陳茜:這個領域的競爭其實也在逐漸變得激烈。我們看到OpenAI、DeepMind都在布局相關方向。尤其是DeepMind,已經(jīng)推出了AlphaFold、AlphaEvolve等項目,本質(zhì)上也都屬于AI for Science或者AI自主科研。
田淵棟:對。
陳茜:剛才提到的AlphaEvolve,已經(jīng)能夠利用大語言模型不斷變異和組合算法。那么它和你們所說的recursive self improvement(遞歸自我改進)之間,有什么根本性的區(qū)別?你們的差異化優(yōu)勢又在哪里?
田淵棟:我覺得首先是大公司和小公司的區(qū)別。
大公司有大公司的押注方式,小公司也有小公司的押注方式。對于擁有數(shù)萬名員工的大公司來說,往往會同時布局很多研究方向,其中某一個項目可能只是眾多方向中的一個。因此,它也未必能夠獲得無限制的資源投入。
而且大公司研究人員的激勵機制、薪酬結(jié)構(gòu)以及目標導向,本身也和創(chuàng)業(yè)公司有所不同。
對于我們來說,公司成立的使命就是做self-Improvement(自我改進)。如果確定了這條路線,那么我們會把所有資源、時間和精力集中在這一件事情上,把它真正做出來。從這個角度來說,小公司是更專注的。
另外,AlphaEvolve本質(zhì)上仍然是在利用AI去優(yōu)化某一個具體對象,例如一段代碼;而我們更希望讓AI去優(yōu)化它自己,這兩者有一些區(qū)別。
陳茜:你剛才提到,現(xiàn)在是一個非常好的時間點來做這件事。為什么去年不是最好的時間點?為什么明年也不是,偏偏是今年?
田淵棟:因為去年這個時候,AI的Coding Agent(編程智能體)其實還沒有真正成熟。當時大家更多是在使用AI輔助編程工具,例如Cursor。那種工作模式本質(zhì)上仍然是人寫代碼,AI負責審核、修改和重構(gòu)。
但從去年年底開始,整個行業(yè)跨過了一個突變點。大家突然發(fā)現(xiàn),讓AI直接完成任務,而由人來提供高層級的指令和思路,這種模式反而效率更高。這也是為什么今天的AI編程工具會變得如此易用、如此普及。
而在這個變化發(fā)生之后,軟件工程行業(yè)以及大型科技公司都需要時間去適應新的生產(chǎn)力工具。這個適應過程本身,恰恰給了創(chuàng)業(yè)公司機會。
大型公司往往需要一年甚至兩年的時間,去慢慢適應這個變化;而對于一家規(guī)模很小、成員能力很強的創(chuàng)業(yè)公司來說,大家聚在一起,很快就能夠想清楚、找到新的協(xié)作方式。
因此,在這樣一個窗口期里,小公司是有能力追趕大公司的。它意味著巨大的上升空間。但如果再過一年,情況可能就不一樣了。等所有人都已經(jīng)完成適應之后,再進入這個領域創(chuàng)業(yè),機會窗口可能就已經(jīng)縮小了很多。
10
下一代AI實驗室
SSI、AMI Labs、Ineffable Intelligence
陳茜:你說的這個timing非常對,這也是為什么我們最近看到很多neolab出現(xiàn),很多核心研究員從大公司出來,同時大量VC的資金開始涌向這些neolab。現(xiàn)在我們來看一下neolab的版圖,能不能跟我們分享一下你是怎么看的?
因為大家其實有很多派別,比如Ilya的SSI、Yann LeCun的AMI Labs、David Silver,還有Thinking Machines Lab。就拿這4家比較典型的公司來說,能不能分享一下你對他們的看法?可以先說Ilya。
田淵棟:Ilya的SSI應該說非常保密,我們現(xiàn)在都不知道他內(nèi)部在做什么,所以也很難評價,希望他接下來會有很大的進展。他們之前的口號是要做Safe Superintelligence(安全的超級人工智能),但現(xiàn)在的進展怎么樣,我們并不清楚。
陳茜:你覺得他是不是也是要做模型?但他可能不會做像GPT、Gemini或Claude那么大規(guī)模的模型,因為他雖然融了很多錢,但可能還不足以支撐他完全做出一個新的模型。
田淵棟:這個不好說。如果發(fā)現(xiàn)了一些新的模型訓練機制,也許能夠極大提高訓練的速度和效率,這是有可能的。因為我一直覺得現(xiàn)在AI的訓練過程還不是很有效率,如果能在這方面有所發(fā)現(xiàn),那就有很大的上升空間。
陳茜:所以他有可能是在研究一個新的范式。
田淵棟:有可能是這樣,但這也是我的猜測,這些猜測都是基于Ilya去年的一次訪談。
陳茜:對,他出來做了個播客,然后又沒聲音了。
田淵棟:很有意思的是,Ilya去年的那次訪談,跟我們之前和硅谷101一起做的訪談很像,有很多觀點是很接近的。比如做research taste(研究品味),再比如思考為什么模型會generalization(泛化)、memorization(記憶)這些問題其實都涉及到了。
硅谷101視頻節(jié)目:《專訪前FAIR研究總監(jiān)田淵棟:Meta裁員之后,對AI的一些遺憾與思考》,發(fā)表于2025年11月10日
陳茜:我很好奇,你們在跟VC聊的時候,他們對于這種很長期、也不發(fā)產(chǎn)品、純粹做研究、又不確定能不能研究出成果的事情,資金的容忍度有多高?包括你自己跟VC聊的時候,是什么感受?
田淵棟:我覺得VC很多時候還是投人,至少第一筆融資主要還是看這個人是不是靠譜、這個團隊是不是靠譜。之后如果還要繼續(xù)融資,當然希望團隊有進展,有一些讓人印象深刻的東西,才會獲得更多融資。我們團隊內(nèi)部的進展還是比較順利的,應該說好于預期,所以我們還是很有信心的。
陳茜:這一輪融了這么多錢,你覺得runway(可運營時間)會有多久?
田淵棟:其實runway也就一兩年、兩三年的時間,因為大部分資金還是要投入到計算資源上。如果我們有比較充裕的資金,就會有更多的GPU和計算資源,去探索更多的事情,這是我們現(xiàn)在想做的。
陳茜:你怎么看世界模型?你覺得Yann LeCun的AMI Labs能走出來嗎?
田淵棟:Yann畢竟是我以前的老板。他探索的是一個完全不一樣的方向,也是一個之前的人探索程度不足的方向,比如世界模型,尤其是視頻和圖像上的世界模型,以及它怎么跟robotics(機器人)結(jié)合。這是很有意思的問題,可以做一些探討。不過對我來說,我已經(jīng)很多年不做視覺了,現(xiàn)在基本上都在做language(語言),或者做一些symbolic(符號化)和neural(神經(jīng)網(wǎng)絡)的結(jié)合,圖像這邊我可能不太熟悉。
陳茜:有批評說,覺得JEPA這些世界模型還是太早了,可能還要找到一些新的關鍵突破才行,你怎么看?
田淵棟:是有一些這樣的看法。當然我的觀點不一定公正,但我還是有一些看法:我覺得語言跟視覺相比,語言是一個更有信號的東西。視覺模型的問題在于,圖像的像素和像素之間的組合相對是固定的:你今天看到這個杯子,就知道它的形狀,就知道這組像素組合是個杯子。
但對語言來說,語言里的信息流很多時候是可以重新定義的,還可以定義很多新的東西。比如你說到一半,定義了一個新概念,那么以后這個詞就會指向之前對這個新概念的所有定義。所以語言可以無限嵌套,可以自指,可以承載很多新的信息和更深的理解,它的上限可能會比圖像更高一點。這是我的一個觀點,但不一定對,只是一個想法。
陳茜:我看到現(xiàn)在有一些前沿路線想把diffusion(擴散模型)跟LLM組合起來,去做一些Diffusion LLM的東西,你看好那個路線嗎?
田淵棟:我覺得它在速度上肯定會更快。其實我離開Meta的時候也有一篇文章在做這個,就是Sandwiched Policy Gradient(夾層策略梯度),用更快的方式、用強化學習來訓練擴散模型。我的感覺是它在加速、提高decoding(解碼)速度上非常好,但另一方面它現(xiàn)在還沒有達到SOTA(最優(yōu))水平,還做不到像大語言模型那樣厲害,所以還有一定距離。不過它仍然是一個很好的研究方向。
陳茜:你怎么看David Silver的Ineffable Intelligence?據(jù)我理解,他也專注于強化學習,目標是打造一種能夠通過自身經(jīng)驗自主探索、學習知識的超級學習者。你覺得他們跟你們有什么異同?
田淵棟:據(jù)我所知,David Silver他們可能更希望完全不用大模型,這可能是跟我們的區(qū)別。我們這邊比較實在,如果大模型很厲害,我肯定用大模型,再找到更好的方法去訓練它。而David可能更想純粹用強化學習把這件事做起來。因為David Silver是大家都知道的AlphaGo和AlphaZero的主要發(fā)明人,AlphaZero完全不依賴人類的任何知識,靠“左腳踩右腳”自己迭代上去。他當然希望在新一代大模型這個范式下重現(xiàn)這個故事,我覺得這是他的愿景。
我之前也做過像OpenGo這樣的項目,也類似于AlphaZero的“左腳踩右腳”。但圍棋或者國際象棋畢竟還是一個比較局限的領域,這類領域的評價函數(shù)、勝負評分定義得非常清楚,所以可以做到;而在比較開放式的方向上,其實很難做到這一點,可能需要大量算力,而這些算力現(xiàn)在很難滿足。
11
預訓練 vs. 強化學習
能力提升的兩條路徑
陳茜:我看到行業(yè)里有一種說法:pre-training(預訓練)的上限決定了強化學習的上限,你同意嗎?
田淵棟:我同意。我們也發(fā)現(xiàn),強化學習后訓練的一大功用,是把原來排在比如第200位的答案提到第1位,通過這種方式讓模型在一些問題上表現(xiàn)更好。但前提是這個問題一開始至少要有一個正確答案,比如讓它嘗試1000次、1萬次,也許大部分答案是錯的,但有一兩個是對的。
有了這個“種子”之后,強化學習就能通過它把水平慢慢提到最高,如果連種子都沒有,強化學習再怎么做也沒用。這就是為什么強化學習能產(chǎn)生效果,是因為在大語言模型已經(jīng)比較成功之后才會出現(xiàn)。如果只做強化學習,它其實沒辦法生成一些比較深的東西。
所以我覺得大語言模型最關鍵的地方還是預訓練。在預訓練之后,模型內(nèi)部各種各樣的表示就涌現(xiàn)出來了,這些表示在一定程度上能夠解釋數(shù)據(jù)中的結(jié)構(gòu),能夠?qū)W習數(shù)學或數(shù)據(jù)中一些有意思的推理模式。這些推理模式在強化學習中被慢慢放大,最終得到答案。如果前面的推理模式?jīng)]有學好,后面強化學習再做也沒有用。
陳茜:所以光是押注強化學習這一件事情,上限還是有限的。
田淵棟:對,這也是我的觀點,當然也有可能是錯的。
12
數(shù)據(jù)還能怎么往前走
合成數(shù)據(jù)、連續(xù)學習
陳茜:你覺得數(shù)據(jù)還能怎么發(fā)展?因為現(xiàn)在大家的模型其實已經(jīng)窮盡了所有互聯(lián)網(wǎng)數(shù)據(jù),接下來大家更多看的是synthetic data(合成數(shù)據(jù))。數(shù)據(jù)還能怎么變得更好?怎么從數(shù)據(jù)上去優(yōu)化模型的結(jié)果?
田淵棟:我覺得數(shù)據(jù)仍然很重要。現(xiàn)在大量的用戶數(shù)據(jù)、人類數(shù)據(jù)都已經(jīng)被用上了,接下來一個問題是:我們能不能制造一些新的數(shù)據(jù)?最近這一波模型的大進展,很多時候是因為我們把推理模型產(chǎn)生的數(shù)據(jù)放回到預訓練或者中訓練的過程中,模型因此變得更強,達到了一種自我進化的初步目的。以后可以想象,如果新的模型更強了,讓它生成很多數(shù)據(jù),再把這些數(shù)據(jù)放回預訓練或中訓練,模型就會變得更強,這也是一種可能性。當然這個過程本身比較慢,需要花大量計算資源。所以接下來有人就提出了連續(xù)學習(continuous learning),也就是持續(xù)學習,希望新數(shù)據(jù)放進來之后能學得很深,同時不用付出那么多代價,這就是大家提出這個概念的原因。
但我覺得最終的目的還是:現(xiàn)在數(shù)據(jù)是一個非常重要的點,能夠很快讓模型變強。但要讓模型最終變得跟人類一樣強、或達到人類那樣的效率,可能還是要看有沒有好的算法、有沒有好的新范式去訓練模型本身,這可能是最大的問題。當然,如果按現(xiàn)在的范式走,數(shù)據(jù)還是很重要的——范式不變的話,數(shù)據(jù)越多,效果確實越好。
13
大公司 vs. 小公司
Neolab的挑戰(zhàn)與護城河
陳茜:你怎么看Thinking Machines Lab?
田淵棟:我對他們也沒有特別了解。我看他們最近發(fā)了一個human computer interaction(人機交互)的interactive model(交互式模型),效果還不錯:你可以一直跟它說話,不用打斷它,它會一直在傾聽。這種方式可以和模型產(chǎn)生一種持續(xù)交互的效果,而不是turn by turn(一問一答)的交互,這挺有意思的。至于之后它會不會走跟某些公司一樣的路線,我就不清楚了,他們可能更側(cè)重于人和AI如何交互這個方向。
陳茜:剛才我們聊了一些neolab押注的路線。如果從更宏觀的角度看現(xiàn)在neolab的發(fā)展,你覺得neolab的護城河到底在哪里?大家最主要面對的挑戰(zhàn)是什么?
田淵棟:我覺得一個重要的點是:如何在neolab這樣的環(huán)境下產(chǎn)生研究結(jié)果、很快產(chǎn)生進展。因為很多neolab的成員以前都來自大廠或資源豐富的地方,他們習慣了花很多錢,可能會花幾個億甚至十億去做個實驗,但那都是公司付的錢。而對于像我們這樣新成立的、需要融資的小公司來說,一個非常重要的想法是:我們怎么能讓學習過程變得更有效率?我們希望整個迭代過程、整個流程更有意義,同時能發(fā)現(xiàn)新的東西,這是一個很大的挑戰(zhàn)。所以我們是不是還會用傳統(tǒng)的scaling law(縮放定律)來做這件事,其實是需要考慮的。比如有些朋友在大廠、在資源豐富的地方,對他們來說資源可以是無限的、相當充裕的,可以用各種方式找到一個很好的scaling law把事情做成;但對我們來說,可能需要思考成本,用各種巧妙的方法繞開大量計算資源的堆疊,去獲得更好的結(jié)果,這是一個很大的挑戰(zhàn)。
如果一個人只有scaling law這一個思想,可能不太容易成功,還需要在scaling law之外,對問題有更深的理解,才能成功。所以還是要看research taste(研究品味)。
陳茜:你剛才也說小的lab肯定會比大公司跑得更快,而且小公司押注的技術路線可能是大公司目前還沒時間去做的,他們現(xiàn)在可能在卷coding(代碼)、卷frontier model(前沿模型)。你覺得你們押注的路線,跟OpenAI、Google、Anthropic押注的路線,一定是平行發(fā)展的關系嗎?會不會有一天產(chǎn)生競爭?如果會,競爭會發(fā)生在什么地方?
田淵棟:我覺得首先還是平行發(fā)展的關系。我跟大公司很多人聊過,我覺得大公司現(xiàn)在有一個趨同化的趨勢,原因是大公司很多方向和方案都是由CEO或高層來定的,而高層往往追熱點,會覺得“這是別人也在做、而且做得很好的事情,所以是我們想做的”。這種自上而下的結(jié)構(gòu),導致大公司之間同質(zhì)化比較嚴重,大家做的東西都差不多。比如coding agent(編程智能體)火了之后,大家都做coding agent。
所以就算你在大公司里想做點不一樣的事情,也會被環(huán)境和壓力逼著去做跟大方向相關的東西。最終的結(jié)果是,大公司里的人不是沒有能力做不一樣的東西,而是沒有時間、沒有精力去做。于是小公司為了能很快產(chǎn)生效益和結(jié)果,自然會選擇跟大公司不一樣的方向,所以雙方是平行的。只有等到以后,比如小公司業(yè)務做得很好、這個方向變成大家關注的新方向時,才可能產(chǎn)生競爭。
但這是另一回事,這種事情在歷史上已經(jīng)出現(xiàn)過很多次了。比如Anthropic一開始做代碼、做coding的時候,其實關注的人很少。我還記得前年、去年的時候,大家都在刷math(數(shù)學),把AIME(美國數(shù)學邀請賽)的分數(shù)提得很高,而Anthropic每次發(fā)布時都說我們不刷這個東西,他們的模型放出來時沒有數(shù)學的performance number(表現(xiàn)得分),而是去刷coding(編程)。最后大家發(fā)現(xiàn),這東西確實能賺錢,是一個很好的商業(yè)模式,于是所有人突然都涌過來了。所以這其實是以后會反復發(fā)生的常態(tài)。這就要求小公司的成員有耐心、有眼光,去做一些大公司現(xiàn)在不做的方向。
陳茜:但怎么能確保大公司看到這個機會之后,不會用更多的資源、幾乎無限的資金把小公司蓋住?
田淵棟:其實也很難說。首先,大公司不會真的有那么高效。比如Google現(xiàn)在也在追趕coding,出了Antigravity。但Google的coding其實還沒做得特別好,還是有一些問題,大公司有大公司的毛病,這都會發(fā)生。而且關鍵在于,等大公司反應過來時,如果小公司真的成功了,它已經(jīng)獲得了很多資金去投入,那時候小公司也有很大的leverage(優(yōu)勢)了。
14
人才爭奪戰(zhàn)
RSI想招什么樣的人
陳茜:你覺得現(xiàn)在你們面臨的挑戰(zhàn)中包不包括招人?現(xiàn)在大家搶人搶得厲害嗎?
田淵棟:我們公司確實還是比較受歡迎的,有很多人愿意投遞簡歷給我們,這也讓我們挺驚訝的。
另外,大公司和小公司招的人是在不同方向上的。比如TBD這樣的大公司花很多錢招人,吸引的人可能跟小公司不一樣:大公司吸引的人可能技術能力很強,但這種能力對大公司有用、本身卻不一定那么新。而對小公司來說,有些人是看重我們的愿景、看重我們這個方向?qū)硎欠駮a(chǎn)生很大的影響。所以兩邊的mindset(心態(tài))和思路不同,不能說是相互搶人。
陳茜:你們喜歡招什么樣的人?
田淵棟:我的感覺是這樣:首先要經(jīng)驗比較豐富,因為現(xiàn)在AI coding tool(編程工具)非常強了,很多時候經(jīng)驗、品味和方向更重要。另外,我們希望這些人比較hands-on(親力親為),既有經(jīng)驗,又愿意自己把事情做成,這兩點結(jié)合起來比較重要。
陳茜:所以你們不考慮畢業(yè)生。
田淵棟:這個也要case by case(具體問題具體分析)。
陳茜:你覺得現(xiàn)在畢業(yè)生還能找到工作嗎?因為很多junior(初級)的工作,我理解你們都可以讓agent(智能體)去做了。
田淵棟:這也不一定,如果畢業(yè)生本身很厲害、有很好的、業(yè)界知名的、大家都認可的工作,那也是有希望的。
陳茜:你現(xiàn)在跟一些年輕的researcher(研究員)聊的時候,他們更想去大廠,還是更想加入neolab這種小一點的公司?
![]()
田淵棟:我這邊有bias(偏差)。跟我聊的很多人會說:“我們能不能來你這兒?”如果想去Meta的話就不會跟我聊了,所以這里有一個self selection(自我篩選)。大廠往往討論的是工資、總包、福利、股票;而小廠更多談論的是愿景、方向、工作內(nèi)容,以及做的事情有不有意思。
陳茜:要做成RSI想做的事情,除了你們這八位很強的聯(lián)合創(chuàng)始人之外,還需要多少人?什么樣的規(guī)模你覺得會比較舒服?
田淵棟:我們現(xiàn)在是25個人左右,之后希望能到40個人左右,大概是這樣的規(guī)模,但也要看市場情況的變化。
陳茜:你覺得現(xiàn)在整個就業(yè)版圖有什么改變?因為我記得上次采訪你說,大家遲早全部都要失業(yè)。半年過去了,你覺得我們現(xiàn)在距離那個場景更近了嗎?
田淵棟:我覺得是更近了。Meta最近又裁了一些人,Amazon年初也裁了一些人,之后還會有其他地方裁人。
陳茜:原因是因為agent(智能體)確實起來了嗎?
田淵棟:對,AI確實把效率提高了。以現(xiàn)在的AI能力,大概相當于以前四級或五級的工程師。一般應屆畢業(yè)生剛進大廠,比如Google和Meta時是level 4,senior(高級)一點是level 5。這兩個層級的工程師,他們做的很多事情其實AI已經(jīng)可以做了,而level 4和5在大廠里又比較多,所以AI agent(智能體)來了之后確實有很多影響,而我覺得以后影響會越來越大。
15
Frontier Lab大亂斗
前沿模型競爭與下一步
陳茜:接下來我們來說一說現(xiàn)在主流的這些Frontier Lab(前沿實驗室),我也特別想聽一下你對他們的觀察。先聊聊Anthropic,你怎么看Andrej Karpathy加入Anthropic這件事?圈內(nèi)人怎么看?
![]()
圖片來源:X.com
田淵棟:我覺得這件事說明self improvements(自我改進)、auto research(自動化研究)非常重要,看到這個有意思的進展我們也很開心。之前Andrej Karpathy在推特上直播了自己做auto research(自動化研究)的過程,把圖像和report(報告)都開源了。那段時間很多人對此非常感興趣,也有很多人跟隨這條路線,發(fā)現(xiàn)auto research(自動化研究)可以做很多優(yōu)化,所以他在這方面影響力很大。
Andrej Karpathy也明確說了,他去Anthropic是做預訓練、做auto research(自動化研究)。這讓大家覺得,self improvements(自我改進)、self learning(自我學習)這個方向確實成了主流,大家也承認這個方向是對的,我覺得這很好。
陳茜:Anthropic今年的敘事、增長的趨勢都非常猛,一部分是因為它要上市了,一部分也是因為它的商業(yè)化確實做得非常好、增長非常快。你覺得它的優(yōu)勢能一直延續(xù)下去嗎?因為我們看到OpenAI最新的Codex也追得很快,谷歌也出了Antigravity。你覺得整個coding(編程)這一塊的格局,會延續(xù)現(xiàn)在的排位嗎?還是有機會出現(xiàn)變數(shù)?
田淵棟:我覺得很難講,說實在的,用下來并沒有覺得誰比誰厲害很多。比如Codex 5.5,我用了之后覺得挺好的,Claude Code我也在用,都挺好,但各有各的問題。比如Claude Code有時候會hallucinate(幻覺):我讓它總結(jié)一個答案,它說了一大堆,我說這里出錯了,它馬上承認“I'm so sorry”,認錯很快,但為什么我沒指出來之前它不主動說呢?所以很多地方問題還不少。不過Codex也并不差,我覺得并沒有比Claude Code差太多。
陳茜:所以只要OpenAI想追,無論是能力還是產(chǎn)品力,是能夠追上去的。
田淵棟:對,我覺得是可以追上去的,只是看它執(zhí)行的速度多快。其實像Google想追也是可以的,他們最近成立了一個strike team(突擊小組),就是要追coding(編程),好像是Sergey親自掛帥。如果一個方向特別火、大家都知道它有商業(yè)價值,那所有人都會去做,慢慢就會產(chǎn)生各種不同的方案。
![]()
圖片來源:X.com
而且還有很多開源的,比如DeepSeek V4我也用了,覺得挺好的。當然它有一個問題:一開始你必須讓它預熱一下,比如預熱1萬個token,它才會變聰明一點。一開始有點奇怪,但預熱一段時間之后,它就突然變聰明,可以做很多事。
這些問題應該都是可以解決的。這個市場那么大,肯定會有很多人愿意進來,大家遲早會figure out(弄清楚)怎么把它做好,所以接下來份額怎么分其實很難講。我一直有一個concern(顧慮):對用戶來說,他們并不需要非常強的模型,而是希望模型夠用就行。超過這個上限之后,用戶其實無所謂,他就用自己覺得用著舒服的模型。所以如果大家都達到這條上限,市場也許就完全看價格了。
陳茜:所以你覺得coding(編程)的先發(fā)優(yōu)勢沒有那么重要,最后可能還是會有一個打價格戰(zhàn)的時期。
田淵棟:可能會有這個問題。當然,一個counter argument(反駁觀點)是:也許我們會看到數(shù)據(jù)飛輪的效應——先發(fā)的人獲得很多數(shù)據(jù),訓練得更好,這也是一種可能性。但另一方面,也許大部分人寫的代碼都不怎么樣,重要的代碼還是那些大神寫出來的,所以這個飛輪能不能轉(zhuǎn)起來,也不是很清楚。
陳茜:Anthropic的Mythos這個模型,他們自己說太強了所以不敢發(fā)布,真的有這么強嗎?
田淵棟:這個我也不做評論。從數(shù)據(jù)上來說確實很好、很強,當然網(wǎng)上也有很多人說其實不怎么樣、不強,所以現(xiàn)在也不知道,等它發(fā)布之后再說吧。
陳茜:那你覺得Anthropic模型強的原因是什么?除了剛才說的可能用了不一樣的Vision Transformer架構(gòu),還有可能它把一些數(shù)據(jù)放到pre-training(預訓練)上重新訓練了,主要是這兩點嗎?
田淵棟:后者其實大家都在用,不是某一家獨有的。也就是說訓練時把推理鏈的結(jié)構(gòu)放到預訓練或中訓練里面去,這個大家都在做,我不覺得這是一個很大的創(chuàng)新點。他們有可能是模型,或者訓練優(yōu)化器,或者模型的recipe(訓練方案)上的創(chuàng)新,但都不確定,因為這部分的信息現(xiàn)在很少。
陳茜:所以你覺得接下來如果大家還要繼續(xù)卷SOTA(最優(yōu)水平)模型能力,可能真的要拼模型上的創(chuàng)新了,是嗎?
田淵棟:我覺得應該是的。一方面,你有更多的卡、更多的計算資源,你可以做;但另一方面,再往上純拼scaling law(縮放定律),橫軸是指數(shù)級的,到一定程度大家都受不了,不可能再要10倍的電力、10倍的資源。所以最終一定會撞到一個地方,大家會突然回過頭來看有沒有更好的方式解決問題,這一定會發(fā)生。現(xiàn)在的模式是不可持續(xù)的,這也是為什么現(xiàn)在neolab大家愿意去投資的一個原因。
陳茜:你覺得coding(編程)之后的下一個the next big thing(下一個大方向)是什么?
田淵棟:我覺得是AI research(研究)。我們現(xiàn)在做的,就是能不能讓AI變得更強、能讓AI去做一些research。coding(編程)為什么那么火?主要是因為寫code(代碼)的人,或者說寫code(代碼)的ROI(投資回報率)很高。模型很強,能夠做本來需要高薪才能聘請的人的工作,所以才有收入。大模型的人才也非常貴,可能比寫code(代碼)的人貴很多,所以下一波的趨勢是,如果能把AI research(研究)這件事自動化,當然會有很大的ROI(投資回報率)。
陳茜:你覺得AI research(研究)上的商業(yè)化回報,會跟coding(編程)一樣有這么大的市場嗎?
田淵棟:這要看你最終的AI research(研究)發(fā)現(xiàn)了什么知識。比如你發(fā)現(xiàn)了一個AI for science(科研),發(fā)現(xiàn)了新藥、新材料,或者發(fā)現(xiàn)了訓練模型的新方法,那回報都是天文數(shù)字。當然,這些都是高風險高回報的事情。
陳茜:OpenAI跟Anthropic的比拼,你覺得會是什么樣的結(jié)果?短期和長期都可以說說。
田淵棟:現(xiàn)在很難說。OpenAI之前的問題是方向太多、不夠focus(聚焦),現(xiàn)在開始很focus了,所以很難說兩邊誰更好。不過對用戶來說這是好事——可用的選擇多了,價格也會降下來,所以不是壞事。
陳茜:接下來決定他們勝負的關鍵因素是什么?是誰能找到更新的范式嗎?
田淵棟:我覺得倒不是。因為代碼本身已經(jīng)很賺錢了,接下來的問題是誰能讓用戶愿意去用他們,這可能更重要。
陳茜:所以還是產(chǎn)品方面的競爭?
田淵棟:對,尤其是Anthropic,他們現(xiàn)在主要的in-force revenue(有效收入)很高,一直在往上走。但資本上有一個問題:一旦你開始有收入,市場就希望你有更多模型。
這是一個很有意思的現(xiàn)象。如果是這樣,那他們兩邊都會有這樣的concern(顧慮):比如Anthropic有收入、說不定馬上要賺錢了,那么對OpenAI來說,“你怎么還沒賺錢?你有很多收入,但成本還很高,怎么辦?”會不會有這個問題?畢竟他們都要上市了。
陳茜:對,要不然就削減你的成本,這就是為什么他們把Sora關了。要不然你就再多掙點錢。
田淵棟:是這樣,一旦進入這個敘事之后,邏輯就跟以前一個research lab(研究實驗室)的邏輯不一樣了。Research lab的邏輯是要證明自己很厲害:我做出個沒人做過的新東西,超級impressive(驚艷);但一旦掉進資本的邏輯里:要上市、要做資本敘事、要做收入、要做資產(chǎn)負債表——你就回到了商業(yè)模式上,希望公司是有收入、成本又低、能穩(wěn)定賺錢的。所以賽道可能就不一樣了。
陳茜:你們有一天也會遇到這個問題吧?
田淵棟:這個我們還早。
陳茜:我們來說一下谷歌,谷歌這次的I/O發(fā)布似乎不太理想,你覺得谷歌還能追上來嗎?機會在哪里?
田淵棟:這個我就不做評論了。我覺得谷歌還是很厲害的,里面有很多非常厲害、愿意做事情的人,只要領導層重視,一定還是不錯的。你看從Gemini 2、Gemini 2.5的時候,大家一直說它不行了,Gemini 3就很好了。另外,畢竟我們公司也是Google Venture投的。
陳茜:理解。那再來說說Meta,Meta在你離開之后經(jīng)歷了數(shù)次重組,他們之前推了Muse Spark出來,你怎么評價Muse Spark?
田淵棟:首先有利益相關:我還持有不少他們的股票,所以我說出來的話可能不是很客觀。我覺得Meta的Muse Spark還是不錯的,我也用了一下,特別是多模態(tài)方面,它的understanding(理解能力)和一些回答都比較好。當然,總的來說可能還是比Gemini 3要差一點。
陳茜:我看到有評論說,Muse Spark是一個為Meta自身產(chǎn)品場景高度定制的模型,而不是一個非常強大的通用前沿模型。這是不是意味著Meta在AI策略上完全轉(zhuǎn)向了,不再拼最強大的通用模型了?
田淵棟:我倒不覺得是這樣。我覺得它還是一個general(通用)的模型,至少從它內(nèi)部的工作模式來說:他們肯定是先訓練一個更通用的模型,再fine-tune for the specific use case(針對具體應用場景微調(diào)),這是更好的做法,所以我不覺得是轉(zhuǎn)向。
陳茜:所以他們其實還沒有放棄爭奪最強模型這件事。
田淵棟:對,不然Meta就沒必要花那么多錢做這件事了。
陳茜:你覺得他們還有機會嗎?
田淵棟:機會還是有很多的。因為大家都還在往前走,而且大模型一旦有人訓練出來,不出幾個月就會被另一個超過。大模型里沒有永遠的贏家,現(xiàn)在大家都是犬牙交錯地往前走,所以很難說。
陳茜:所以需要的是什么?需要有一個人靈光一現(xiàn)?
田淵棟:那也不是,這還是需要團隊作戰(zhàn),很多人把事情做好、拼在一起就可以。這一點上我挺同意姚順宇的觀點:大模型,尤其是工業(yè)級別、大廠做的大模型,很多時候是每個人在各自崗位上兢兢業(yè)業(yè)地做完,pipeline(流水線)通了之后跑起來就行。
陳茜:但如果每個大廠都這樣,那它們的差異點在哪里呢?
田淵棟:那就看你做得多細、工作多努力、事情做得多好。一些小的東西,有些人注意到了,有些人沒注意到,注意到的人可能就獲得一些提升,沒注意到的人就沒有。
陳茜:所以你覺得TBD Lab還是有機會的。
田淵棟:我覺得還是有的,但也要看他們內(nèi)部怎么operate(運轉(zhuǎn))。
16
Meta爭議與就業(yè)沖擊
AI時代的職業(yè)變化
陳茜:Meta最近有點爭議,一方面裁了7800人,另一方面發(fā)生了一件很有爭議的事情:他們要強制“蒸餾”員工,利用員工的工作數(shù)據(jù)去訓練內(nèi)部的AI模型,讓模型通過觀察員工完成任務的過程來學習,據(jù)說它現(xiàn)在的能力已經(jīng)好于外包人員了。我看蠻多人對這件事挺生氣的,你怎么看?
![]()
田淵棟:這件事確實說得比較赤裸裸,所以大家都會有意見。如果你知道自己在將來一段時間內(nèi)就會被“蒸餾”,像吸星大法一樣頃刻被煉化,煉化之后就被踢出去,沒有人會開心。這在做法上確實不太顧及員工感受,包括裁員本身的過程中也一直存在這個問題。但不管怎樣,它是個大公司,大家來了就是“愿者上鉤”,公司有這樣的條款,你就得遵守。
陳茜:但蒸餾員工這件事,感覺是個大趨勢了。
田淵棟:我覺得有一個人開始做,大家都會做,所以這沒有什么對錯。公司覺得為了自身利益要把所有數(shù)據(jù)拿到手、把這件事做成,這無可厚非,因為這是雇傭條款之一,你來了就得遵守。
但我覺得以后大家可能會發(fā)現(xiàn),蒸餾到底有多大用處也是一個問題。可能大部分人會因為有這個條款而不愿意好好工作,不愿意把自己最重要的東西拿出來,甚至故意埋雷、在里面“投毒”,把你的訓練搞壞,這就很難判斷了。所以其實我也不希望員工跟公司有這樣的對立,現(xiàn)在大家都應該往一個方向走。
陳茜:但從非常high level(高層面)的角度看,這還是不可避免的吧,肯定越來越多的東西公司希望AI來做。那以后可能會出現(xiàn)一種情況:公司確實不需要這么多人了。
田淵棟:是的,這是客觀事實。我最近也寫了一篇blog,談vibe coding(氛圍編程)和AI工具的一些體會,確實會覺得用的人會越來越少。今年年初我寫過一篇blog,說以后可能大家都是創(chuàng)業(yè)者、都是co-founder(聯(lián)合創(chuàng)始人),我覺得這是會發(fā)生的,因為大廠不需要那么多人了,所以大家得找到自己的意義。
以前你被教育出來:四年本科、兩年碩士、五年博士,最終的目的是成為一顆螺絲釘、成為某個大機器的一個零件。但現(xiàn)在不一樣了,大機器不再需要你這個零件,你得自己去尋找自己的意義。這可能是另一種新的文藝復興,回到以前古希臘那樣的狀態(tài):每個人都需要找到自己想做的事情。這個過程比較痛苦,但最終可能不可避免地會發(fā)生。
陳茜:這一天還有多遠,你覺得?
田淵棟:我覺得現(xiàn)在就已經(jīng)在發(fā)生了。之后,能找到自己方向、找到新模式并做得挺開心的人,就會成為新時代的樣本,找不到的人就比較難。難的地方在于,整個過程發(fā)生得很快,可能在將來3到5年內(nèi),就會有很多人面臨這樣的選擇。你會發(fā)現(xiàn),你跳到一個大廠,被裁了,跳到另一個大廠,過兩天又被裁了。這就相當于一條魚在水坑里跳,但水在干涸。《三體》里有句話:“有人把水弄干了。”那原本是用來形容四維生物把整個宇宙降維成三維、進行降維打擊的過程。
但同樣的故事可以用來講現(xiàn)在的事情:有些魚把水弄干了,其他的魚就得不停地跳,可水總體上越來越少,你最終只有變成四維生物才能活下來。
陳茜:所以你這條魚要進化成鳥、長出翅膀,才能生存下去。
田淵棟:是的,大趨勢就是這樣。
17
xAI的困境
前沿大模型之爭其實是組織架構(gòu)之爭
陳茜:我們再來聊聊xAI。你覺得xAI發(fā)生了什么?按剛才的思路:我有團隊、有資源、有錢、有人才,應該能做出還不錯的東西,但xAI到底發(fā)生了什么?
田淵棟:我聽說的情況是,這跟當時Llama 4的情況比較像。老板希望事情很快發(fā)生,壓力比較大,于是導致很多問題,最后發(fā)出來的模型可能不達預期。這個我之前也說過很多次:一個組織,如果里面的人沒有能力push back(反駁)上面的要求,那他們就只能通過某種方式去順從上面的壓力。一開始順從是可以的,但時間長了,總有一天上面的人會發(fā)現(xiàn),這個組織的delivery(交付)跟promise(承諾)不一樣,就會產(chǎn)生問題,產(chǎn)生一次很大的“地震”。Llama 4跟xAI的結(jié)果其實很像很像。
老板會覺得“我不相信你們這些人,得從外面再拉一個人來做這件事”,那么原來組織里的人境遇就會比較慘,就是這樣一個過程。
陳茜:現(xiàn)在聽下來,這種前沿大模型之爭,其實最后變成了一場組織架構(gòu)之爭。
田淵棟:是的,組織架構(gòu)在這次的技術進展中扮演了很大的角色。本質(zhì)上是先進生產(chǎn)力和落后生產(chǎn)關系之間的矛盾。落后的生產(chǎn)關系不可能一下子消失,而且我們現(xiàn)在也不知道什么是先進的生產(chǎn)關系,所以會產(chǎn)生很多矛盾。
陳茜:雖然大家說scaling law(縮放定律)到頭說了很久了,但目前那幾個大的lab還在繼續(xù)卷scaling(擴大規(guī)模),你覺得我們還能卷多久?
田淵棟:還是會卷的,至少大廠里還是會卷,因為有慣性,也有資源,愿意出錢、出力、出人,思維慣性還是“我們要scaling law(縮放定律)”,所以還會卷一陣子。我覺得這一點上小廠是有優(yōu)勢的:小廠人少,而且有些人有自己的belief(信念),拼在一起后會有更新的想法去貫徹下去,所以小廠可能比大廠更有希望。但scaling law(縮放定律)也會繼續(xù)卷,卷到最后大家卷不動了,就會有其他的方式做出來,一定是這樣的。
陳茜:能不能講一講你現(xiàn)在的工作狀態(tài)是什么樣的?公司剛開始,大家充滿干勁,企業(yè)文化大概是什么樣的?
田淵棟:企業(yè)文化相對來說說話比較直,大家都比較direct(直接),愿意很快給feedback(反饋),也比較technical(技術化)。大家都是干活的,愿意坐下來埋頭把事情做好,然后說“這是我的結(jié)果、這是現(xiàn)在的效果,大家有什么經(jīng)驗和建議”。相對比較實在,不會有太花哨的東西,有什么事情可以有話直說,把東西攤在桌上一起討論,大概是這樣。
陳茜:能不能分享一個你最近覺得挺開心的時刻?
田淵棟:其實有不少,但現(xiàn)在暫時不能說,能說的部分是公司的launch(發(fā)布)比較順利,這是很開心的。我們之前準備了一陣子,融資也很順利,這很不錯。發(fā)布之后正面的反饋很多,大家也很支持,這對公司來說是很好的第一步。尤其是外界的反響,還是比較正面的。
陳茜:我覺得剛才采訪中有一句話挺觸動我的,你說當你跳到不同的大廠,會發(fā)現(xiàn)水已經(jīng)沒有了,反正你都找不到工作,那對于你來說,你是怎么去找到你人生的意義的?
田淵棟:其實在GPT-4剛出來的時候,我就寫過一篇blog,說以后大家都是獨一無二的:你能做一件別人做不了、只有你能做、只有你愿意去探索的事情,這是最重要的。然后你在這件事上越走越遠,你獲得的所有數(shù)據(jù)都是新的,都可以分享給別人,那你就相當于一個行走的數(shù)據(jù)源。你把獲得的所有東西分享給大家,你對這個世界就是有價值的,我覺得這是一條路徑。當然,這只是非常個人的體驗,因為每個人其實都不一樣。
陳茜:你現(xiàn)在還有時間寫小說嗎?
田淵棟:前段時間比較忙,但之后我也會考慮一下。
陳茜:最近AI的一些進展、你自己的一些思考,你覺得對寫科幻小說是不是有了新的啟發(fā)?
田淵棟:我有點緊迫感,如果再不寫,我的idea(靈感)就沒了,可能就到了跟不上AI進展的程度。
陳茜:你可以讓AI幫你寫。
田淵棟:AI是可以幫我寫,但AI有自己的“AI味”。怎么把AI味去掉,找到自己想寫的東西并寫好,這是一個問題。
陳茜:感謝淵棟,也期待你們接下來可以宣布的一些新進展,到時候我們再聊一聊。
田淵棟:好的,感謝陳茜。
以上就是我們和田淵棟對談的所有內(nèi)容,我們也會密切關注包括RSI在內(nèi)的各個lab的動向,硅谷核心AI研究員的視頻播客系列還會繼續(xù)。
注:部分圖片來源于網(wǎng)絡
【本期節(jié)目不構(gòu)成任何投資建議】
硅谷101聽友群上線啦!
終于終于終于,大家一直呼吁的硅谷101的社群要上線了!歡迎大家加入。
你能在這里得到什么
線上閉門研討會--群內(nèi)專屬
我們會不定期地直播線上閉門研討會——硅谷101的主理人、主持人、研究員和節(jié)目嘉賓都會參與進來。直播入口只在群內(nèi)私密發(fā)送。我們可能會聊:SpaceX、OpenAI、Anthropic的上市解析,Buyout模式如何成為硅谷的新寵,F(xiàn)DE為什么正在變成科技巨頭最熱門的職位……所有報名鏈接,群里第一時間放出。深度聽懂硅谷。
和同頻的人在一起
按從事或研究的行業(yè)分群,讓你身邊坐的,是真正和你走在同一條路上的人——你拋出來的問題不會石沉大海,別人的一手觀察沒準也能打開思考的新視角。
? 線下相見
硅谷101的各類活動通知都會第一時間在群里同步。我們期待可以通過各種線下活動和大家也有機會在線下碰面。
101er互助
找人、找工作、找合作、找資源——只要是合理的需求,都請滴滴我們,我們幫你拋在群里。希望每一位101er都能在這里得到一點點助力。
?怎么入群
掃碼填表,我們會在7天內(nèi)做簡單審核,通過后會用郵件同步您進群方式。這是我們的申請表,請抽出1分鐘完成申請,我們對生產(chǎn)內(nèi)容的高要求,也是我們對運營這個社群的要求。希望進群的朋友們都能在這有所收獲。群里見!
【視頻播放渠道】
國內(nèi):B站|抖音|小紅書|視頻號|微博
虎嗅|騰訊|頭條|36氪|搜狐視頻|鈦媒體
海外:YouTube|TikTok|X
聯(lián)系我們:video@sv101.net
【創(chuàng)作團隊】
監(jiān)制|泓君 陳茜
撰稿/采訪 |陳茜
剪輯|Jacob HIROBUMI
運營|王梓沁 孫澤平 13
平面設計|施陳
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.