![]()
“大腦的計算效率比GPU高100萬倍”——這是Unconventional AI創始人Naveen Rao在紅杉AI Ascend大會上給出的數字。它不是修辭,不是標題黨,而是用物理學和神經科學一步步推導出來的結論。全人類的智慧總功耗不過160吉瓦,而今天跑AI的計算機動輒消耗千兆瓦。這中間差了大約一百萬倍。Naveen Rao的解法很明確:放棄統治了80年的馮·諾依曼架構,回到物理和生物的底層邏輯,重新造一種像大腦一樣省電的計算機。本文編譯自紅杉資本博客內容,原視頻鏈接:https://www.youtube.com/watch?v=Zw1J5pJJMGw
1
重新定義計算效率
大家下午好,我是Naveen Rao,Unconventional AI的CEO。我們叫“非傳統”,但也許這個詞用得不對——很快我們就得改名叫“傳統”了。沒有歷史包袱本身就是一種真正的競爭優勢。我們能比傳統芯片公司和全棧公司快得多地推進,幾個月就能完成流片,而不是好幾年。這非常令人興奮。
![]()
我放了一個標題在上面——““ASI won't happen without MUCH greater compute efficiency””。我保證在座有人已經在想怎么反駁我了。讓我解釋一下我的邏輯。當我們說計算效率時,我不是指算法效率或數據效率,很多人在解決那些問題。我說的是最底層的東西:在物理層面,信息處理本身的效率。 大約80年前,我們選擇了一條讓計算機工作的路徑。在科技行業,有多少東西存在了80年?不多。數字抽象、浮點數——這些概念來自1940年代。那臺機器是為完全不同的目的、用完全不同的底層構建的。而現在我們在為“智能”構建機器。
AI會讓我們更高效,編碼、在手機上跑上千個智能體,這些都沒錯。但談到真正的能源問題時,我們可能并沒有更高效,而是正在撞上物理世界的天花板。今天,AI推理和訓練已經在消耗許多千兆瓦的電力。在未來兩到四年內——不是十年——我們會面臨世界上再也沒有多余電力供給AI的局面。這個話題到那時會變得極其緊迫。目前你可以說電力和食物是兩種智能的能源來源。電力這邊看起來還沒有硬限制。但很快會撞上一堵非常堅實的墻。我們可以在太空建數據中心、建核聚變反應堆,這些都可以做。但這些最基礎的物理規律依然適用。
那么全人類的智慧到底消耗多少能量?地球上約80億人,每個人大腦的功耗約20瓦。算下來,全人類的智慧總功耗不過160吉瓦。做個對比:全球總發電能力約9000吉瓦,美國約1000吉瓦。這些電力要支撐所有東西——家庭供暖、電動汽車、工業生產。而我們今天跑AI的計算機呢?單次推理和訓練動輒消耗千兆瓦級別的電力,至少也在百兆瓦級別。這中間差了多少?大約一百萬倍——換句話來說“大腦的計算效率比GPU高100萬倍”。
就算我們把這數字再提高50%,拿到4000多吉瓦來用,問題在于我們當前的計算范式效率實在太低了。如果算推理每個token的能耗,模型構建、運行全算上,我們大概在千兆瓦級別,至少也在百兆瓦級別。而人類只需要20瓦。
![]()
你可以說這是40億年進化的結果。但今天真正的約束變成了:在給定能量下,能多快讓學習發生?能多快把智能造出來? 如果我們想構建一個有大量智能的世界,去自動化各種事情,我們要么需要更多的瓦特,要么需要一個效率極其高的新計算機。這就是我們要做的事。
1
從物理第一性原理重建計算機
大多數人從沒認真想過這個問題——他們假設“計算機就是計算機”,從沒質疑過這個前提。這就是“非傳統”的部分:80年前做的那些假設,今天已經不再成立了。我們只是選擇在上面繼續堆,因為兩年內能做出可賣的產品。我們在走一條不同的路:回到第一性原理,看能不能做出更好的東西。
智能存在熱力學極限。 有一條蘭道爾原理:它規定了在一定能量內最多能完成多少計算。這是一個無法突破的物理邊界,是那條漸近線。生物學在接近這條線的地方——它非常高效。40億年的進化創造出了極其高效的東西。不過它還沒到極限,大概還差一到兩個數量級。
我們人類目前的計算機技術在什么位置?在這下面。 今天基于2D光刻技術的芯片,大概在這個位置。我認為通過有方向的努力,我們可以接近2D光刻的極限。這個差距是多少?大約三個數量級。從能源效率的角度看,我們現在的位置和我們應該能做到的位置之間,隔著巨大的距離。這就是我們在做的事情。
1
大腦的秘密:非線性動力學,而非矩陣乘法
怎么做到?不是簡單地把計算機做省電一點。我們不能再用完全相同的思路去思考計算機了。
這不是一臺運行矩陣乘法的機器。矩陣乘法是一條簡單的路,Nvidia當然統治了這個市場并持續推動前沿。但如果你看能效數字——每交付一個FP8浮點運算的實際功率效率——并沒有提高多少。成本因制造工藝和封裝能力提高而下降,但每次運算的實際能耗、加上內存訪問的能耗,并沒有變得更好。現在只是非常緩慢的漸進式改進。
我是一個神經科學家,在此之前做了十年計算機架構師。這個問題我想了三十年,對我個人來說這是一個極其激動人心的時刻。
生物學提供了一個存在性證明。 你可以說人類每秒輸出的token數量比機器少,但智能水平更高。我們用了那么多千兆瓦,在真正推動科學發現的智能上還沒有匹敵人類。我們會在很短時間內達到這一步,但代價是巨大的能耗。
最有趣的是:人的大腦20瓦,獼猴的大腦可能不到1瓦。在整個哺乳動物世界和昆蟲世界都能看到這種現象,非常復雜的行為只需要毫瓦級別的功耗。做一下參照:你口袋里的手機功耗大約1瓦。一只在風中從一根樹枝跳到另一根樹枝的松鼠只消耗不到10毫瓦,是手機功耗的百分之一。我們用一個巨大得多的計算機卻做不到松鼠能做的事。
![]()
生物學創造了了不起的東西,而我感覺大家還沒有充分認識到這一點。 它到底怎么做到的?作為計算機科學家和神經科學家,我必須誠實地說我們并不完全知道——但有些想法可以從神經科學里借鑒。
其中一個關鍵是:大腦是動態的。它不用矩陣乘法做計算。大腦使用非線性動力學來完成計算。這意味著神經元之間存在隨時間變化的相互作用,而正是這種交互承載了計算本身。大腦不做浮點運算,不做矩陣乘法。當然你可以用矩陣來近似描述它,但因為非線性動力學的緣故,它實際上要豐富得多。而且它還是隨機的,大腦的計算不是嚴格的1和0。在數字計算機里,只要一個1或0出了錯,整個系統就會崩潰。
所以我常常說,大腦真的不是計算機。
1
用物理替代代碼:他們造了一顆能“自己演化”的芯片
讓我快速展示一下,這叫“藏本同步”。你看到一組振蕩器,它們被剛性地耦合在一塊板上。無論初始狀態如何,隨著時間推移它們會同步。這是一個收斂動力學系統的例子。無論你怎么啟動它,它最終都會收斂,而且完全基于振蕩器之間的耦合關系。
你可以把這個推廣到一個帶有靈活耦合的系統——我們稱之為可訓練的耦合。它可以在動力學狀態空間中按各種不同的軌跡運動。再進一步推廣,你可以把它想象成電子電路——一組振蕩器,以及一個可以配置耦合關系的網絡結構。當這個網絡結構可訓練時,你就能看到一些跟大腦動力學非常相似的東西:它有自己的非線性特性,并以非常豐富的方式相互交互。它可以表征非常大量的信息。
這是我們今年夏天要流片的實際芯片。 從1月份幾乎沒團隊,到6個月做出完整原型——這正是因為有了AI的幫助。這就是不背歷史包袱的好處:你可以用完全不同的方式做事。傳統的馮·諾依曼機器:寫入狀態,取回狀態,操作,再寫回去,反復循環。事實證明,這恰恰燒掉了現有計算系統里絕大部分的能量。
用非線性動力學:設定初始狀態,踢一腳,讓它自己演化。物理本身完成計算。狀態是隱式的,不需要顯式讀寫。某種意義上,你從這次演講只需要帶走一句話:我們利用物理在時間維度上的演化來完成計算,而現有計算架構不是這樣做的。
接下來的問題自然是:這個東西能訓練嗎?答案是能。我可以把系統驅動到不同的目標狀態上。事實上我們在狀態空間里追蹤出了“Unconventional”的標志——這說明這一點。我們可以用幾種不同的方式來訓練它。是的,我們可以訓練這些系統,把它們驅動到任意一組軌跡上。
我現在展示一個演示。這是運行在動力學模型上的東西,它針對不同圖像類別進行了訓練。我們從隨機狀態開始。在某個時間點,我對系統施加一次誤差反向傳播,從隨機狀態引向某個特定圖像類別(比如“馬”)。過了那個點之后,讓系統按自己的規則自然演化。你會看到它不再只是隨機像素,而是形成了有意義的像素群——不同種類的機器、不同種類的動物。
比如馬的類別:從隨機開始逐步收斂成馬的特征,然后隨著時間的推移,這些馬的特征還會在狀態空間中互相演化。這意味著它已經在狀態空間里學會了如何在不同的表征之間移動。這是一個真正的新東西正在誕生。
對比現有架構:從馮·諾依曼到動力學系統
CPU:到今天仍是最快的單線程執行工具。它的工作方式就是馮·諾依曼架構——不斷在內存和緩存之間進出、執行操作。
GPU:同時對多個操作數做同樣的事——把大量操作數從內存取出來、做運算、寫回去。
存內計算(如Groq):跟GPU同樣的思路,只不過把計算放在了芯片內部,更細粒度。
動力學系統(我們在做的):狀態和函數重疊,直接整合在物理過程本身之中。不再有狀態和計算的分離。
于是計算效率大幅提升——“銀河腦力”程度也隨之起飛。這真正是非馮·諾依曼架構的。我想留給大家這句話。這是我整個職業生涯的指引。我非常激動,這個問題我想了三十年。我們正處在一個關鍵節點上:我們終于可以開始理解大腦是怎么工作的了。因為現在我們能把它造出來了。
1寫在最后
Naveen Rao的核心主張很簡單:我們用了80年的數字計算機架構,從一開始就不是為智能設計的。他要用物理學的第一性原理,重新發明一種像大腦一樣省電的計算機。沒有矩陣乘法,沒有馮·諾依曼式的反復讀寫,讓物理規律本身來完成計算。他想了三十年,現在終于能把它造出來了。
點個“愛心”,再走 吧
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.