馬斯克的GPU也在摸魚？狂囤幾十萬張顯卡，只有11%在干活

新智元報道

編輯：元宇

【新智元導讀】馬斯克囤了幾十萬張卡，結果只跑了11%？據媒體報道，xAI的MFU只有約11%，xAI總裁Michael Nicolls在內部備忘錄中稱這一數字「低得尷尬」。AI競賽的KPI正從囤卡切換為把卡跑滿。

馬斯克囤了幾十萬張卡，結果只跑了11%？

這個數字最先被The Information曝出，后又被Business Insider根據一份xAI內部備忘錄實錘。

這份備忘錄出自xAI總裁Michael Nicolls之手。

面對這個數字，他甩出四個字：低得尷尬。

The Information報道，xAI手里約有50萬張英偉達GPU，雖然xAI官方至今未公開確認，但其官網已寫明：Colossus集群已擴展到20萬張GPU，目標是100萬張。

無論按哪個數字，xAI都坐擁公開披露中規模最大的AI算力集群之一。

但根據Nicolls備忘錄，這幾十萬張GPU實際只跑出了約11%的有效訓練算力。

Nicolls給團隊定的目標，未來幾個月內要把這個數字拉到50%。

從11%到50%，差的不是幾臺機器，而是一整套訓練棧。

xAI在孟菲斯建成的Colossus集群內部，目前已擴至20萬張GPU，目標是100萬張，是公開披露中最大的AI超算之一。

11%不等于89%的GPU在睡覺

很多人第一次看到「11%」這個數字，會下意識理解成「89%的GPU在睡覺」，這也是它最容易被誤讀的地方。

11%對應一個行業指標MFU（Model FLOPs Utilization，模型浮點運算利用率）。

AI算力公司Lambda在白皮書里給它的定義是：MFU等于實際觀測到的FLOPS，除以GPU理論峰值FLOPS。

換句話說，它衡量的是你買的這塊卡，在訓練這一刻，把多少理論算力真正轉化成了有效的訓練吞吐。

它不是任務管理器里那個「GPU占用率」。GPU可以100%忙著等數據、忙著同步、忙著重新計算，但有效輸出寥寥。MFU衡量的正是那點真正干活的部分。

這11%意味著，理論上能產生100份訓練吞吐的硬件，實際只跑了11份。剩下的89%不是閑著，是在做無用功，或者在等待。

從燒錢的角度看，低MFU意味著大量電力和硬件時間消耗在通信、等待、數據搬運、重計算等環節，而沒有轉化為理想狀態下的有效訓練吞吐。

那11%在工程現實里到底差到什么程度？這就要看歷史對照表。

Lambda在白皮書里提到：生產級LLM訓練的MFU通常落在35%到45%之間。這是正常水平。

還有一組更犀利的對比數據來自谷歌PaLM論文。

https://arxiv.org/pdf/2204.02311

這篇論文有一張被廣為引用的MFU對比表：

英偉達自己維護的訓練框架Megatron-LM，其GitHub頁面上寫明：在H100集群上訓2B到462B參數模型，MFU最高可以到47%。強擴展到4608張H100時，因為通信開銷暴露，MFU會從47%降到42%。

把xAI的11%放進這張表里，它低于GPT-3那個被嘲笑過效率低的古早年代，也低于Gopher、MT-NLG、PaLM、Megatron-LM。

幾乎是低于所有公開前沿訓練系統的下沿。

至于低MFU的原因，Lambda也總結過。

顯存壓力、單卡batch太小、過度的激活重計算（activation checkpointing）、把權重切得過碎的張量并行帶來的跨GPU通信開銷，任何一個都會拖累MFU。

一位同行研究員的描述更形象：HBM顯存比加速器慢得多，芯片大量時間在等數據進來；網絡拓撲里任何一處瓶頸，都會拖垮幾千張卡的同步。

業內管這個叫「記憶墻（memory wall）」。

11%不是單點故障，是系統級問題。

這不止是xAI一家的問題

不過，把xAI單拎出來說事，也未必公平。

The Information報道里還提到了一位同行匿名研究員的一句評價：「跑過40%對xAI的大多數競爭對手來說也很難」。

這是一個刺破全行業體面的問題。

報道里提到，一些研究員為了讓自己的MFU數字「好看一點」，會反復重跑訓練實驗，人為抬高利用率。

原因有兩個：一是怕被老板罵；二是怕GPU被調走分給別的團隊。

這些研究員的邏輯是，我的卡現在確實在閑著，但我只是「在分析上一輪訓練結果，馬上就要再跑」，不能讓它被收走。

在AI大廠里，跑分這件事不只發生在公開榜單上，也發生在內部GPU調度系統里。

xAI并不是一個硬件部署上的反面教材。The Information提到，xAI在業內以「按英偉達推薦方式部署GPU」著稱，是模范生。

模范生只跑了11%，說明問題不在硬件、網絡拓撲標準，而在更上層的訓練棧、并行策略和模型工程。

11%這個數字，也捅破了行業心照不宣的那層窗戶紙：買卡和用卡是兩回事。

Colossus開始把卡租出去了

也幾乎在同一時間，xAI開始把卡租出去了。

xAI CEO馬斯克（左）與Cursor CEO Michael Truell（右）。Cursor計劃用數萬張xAI的GPU訓練Composer 2.5。

據Business Insider報道，編程創業公司Cursor將使用「數萬張xAI的GPU」來訓練它的最新編程模型Composer 2.5。

Cursor此前估值約290億美元，近期又被曝正洽談約500億美元估值。

如果把兩件事放在同一時間線上看，至少可以說明：在自訓效率尚未完全釋放時，把部分算力外部化，可能成為xAI攤薄基礎設施成本的一種選擇。

更微妙的是xAI基礎設施團隊近期的人事地震。

原基礎設施負責人Heinrich Küttler離職，Jake Palmer接管了物理基礎設施，SpaceX的Daniel Dueri被調來負責算力基礎設施。

與此同時，Cursor原產品工程負責人Andrew Milich和Jason Ginsburg跳槽到xAI，直接向馬斯克和Nicolls匯報。

把這些信號串起來，能看到一個正在變形的Colossus：

它在官方敘事里是「世界最大超算」、是xAI打敗OpenAI的算力底牌；但在業務層，它正在一點點變成一座「半成品云廠商」。

AWS、Azure、GCP靠著出租算力賺到的利潤是天文數字；CoreWeave、Lambda這種新玩家干脆圍繞租GPU建生意。

xAI如今走的是同一條路，只不過一邊租一邊自己也得訓模型。

自己跑不滿，就讓別人來跑，這是當代GPU資本的標準動作。

xAI官方至今沒有正面回應過11%這個數字，官網首頁仍然掛著122天建成、92天翻倍到20萬張GPU、路線圖通往100萬張GPU的官方敘事。

xAI Colossus 122天建成，從10萬張GPU擴到20萬張只用了92天，路線圖通往100萬張。但越快擴張，訓練棧和并行策略的復雜度也越大。

但速度有速度的代價。

Megatron-LM公開的數據已經給出了警告：當你把H100集群強擴展到4608張時，僅僅是通信開銷，就足以把MFU從47%拖到42%。

這是英偉達自己的旗艦訓練框架，跑在標準化最強的硬件上。

xAI要把卡數從20萬推到100萬，意味著通信、調度、容錯、并行策略的復雜度還可能要再漲一個數量級。

122天建成是工程奇跡，但每一天的奇跡背后，都有一筆運維債在悄悄記賬。

AI競賽的KPI正在切換

過去比的是倉庫：誰先囤到H100、誰先建成超算、誰能從英偉達手里搶到下一批GB200。

這個游戲花錢就能玩，所以馬斯克、奧特曼、扎克伯格、黃仁勛都下場了。

現在比的是工程師：誰的訓練棧調得最好、誰能把每一美元GPU CapEx轉化成最多的有效token。

這個游戲花錢解決不了，只能靠時間、人才和工程文化。

GPU是入場券，但MFU才是真正的考驗。

xAI雖然拿到了最大的那張入場券，但它能不能把這張券兌現，還要看那個「低得尷尬」的數字，能不能真的拉到Nicolls所說的50%。

參考資料：

https://www.theinformation.com/newsletters/ai-agenda/xai-shows-hard-use-lot-gpus?rc=epv9gi

https://arxiv.org/pdf/2204.02311