5月7日，字節Seed發了一篇99頁的論文，叫Cola DLM。

5月11日，MIT何愷明組發了一篇32頁的論文，叫ELF。

4天之差。一篇來自國內做擴散模型最猛的工業實驗室，一篇來自AI圈的奠基人之一。從兩條幾乎相反的路徑出發，最后撞到了同一個設計點。

我覺得這種巧合背后應該代表著某種很有趣的趨勢，所以我就花了幾天時間好好讀了讀這兩篇論文，也試圖給大家解釋解釋這背后究竟代表著什么。

先認識一下何愷明

寫這篇之前，先停一下，給不太熟悉AI圈的朋友補一段背景。

何愷明這個人，是AI領域絕對的神。

1984年出生于廣州。他在執信中學的時候，因為拿了全國物理競賽一等獎，本來已經有清華大學的保送資格。但他沒用，堅持參加高考來證明自己（？？？），最后以標準分900分成為當年廣東省9個滿分狀元之一（？？？？），進了清華物理系。

2007年到香港中文大學讀研，師從湯曉鷗。港中大認識何愷明的人都說他是超級拼命三郎，早上六點多出門，晚上十二點回寢室。「天才還這么拼命，普通人沒法玩」。2011年博士畢業后進入微軟亞洲研究院（MSRA），跟孫劍做計算機視覺。

2015年，他在MSRA帶隊發了一篇叫ResNet的論文，提出了「殘差連接」這個想法。這篇論文到今天被引用超過30萬次，是21世紀引用量最高的AI論文，沒有之一。

「殘差連接」是什么概念？我之前寫過兩篇關于它的解讀，這里再啰嗦一下：今天你聽過的所有大模型，GPT、Claude、Gemini、Qwen、DeepSeek，骨子里都跑在Transformer架構上，而Transformer架構的每一層里都有殘差連接。沒有何愷明那篇論文，就沒有今天我們用的任何一個大模型。

除了ResNet，他還做了MAE、Mask R-CNN、Faster R-CNN，每一個名字在視覺領域都是地基級的存在。

2016年8月，Yann LeCun把他挖到Facebook AI研究院（FAIR）做研究科學家。2023年8月，他和ResNet團隊拿了在中國設立的未來科學大獎數學與計算機科學獎，獎金33.3萬美元。頒獎詞六個字：「基礎性貢獻」。

2024年2月，他離開FAIR，加入MIT EECS做副教授。2025年6月拿到MIT終身教職的同時，還被Google DeepMind聘為兼職杰出科學家（Distinguished Scientist），相當于MIT主職、DeepMind兼職兩邊并行。

這是他到MIT之后，第一次直接攻語言模型方向的論文。為什么這個細節重要？等會兒你會看到。

先說核心結論

這兩篇paper都屬于基礎研究的范疇，他們是在試圖動LLM最底層的一塊地磚。

我們現在天天用的所有大模型，骨子里都是同一種生成方式：自回歸（autoregressive，簡稱AR）。下一個字依賴前面所有字，已經說出來的字就是事實，寫下不可改。

所有的「幻覺」「推理崩盤」「復雜任務掉鏈子」，往深了挖都連著這件事。

Cola DLM和ELF這兩篇paper提出的解法不一樣，但目標一樣：讓語言模型從一個字一個字往外蹦，變成在腦子里揉一團完整的意思，最后再落字。

具體做法是：把「離散化」這個動作推遲到生成的最后一刻。中間所有的「思考」都在連續空間里發生，直到最后一步才決定每個位置該是哪個具體的詞。

簡單解釋一下離散和連續。離散是一顆一顆分開的珠子，每顆都有邊界，比如「今」「天」「天」「氣」四個漢字，字與字之間沒有中間狀態。連續是流動的水，沒有邊界，任何兩個狀態之間都有無數個過渡，就像顏色從紅到橙，中間是平滑漸變。文字天然像珠子，圖像天然像云霧。這也是為什么擴散這套工具最早在畫圖上大獲成功，但在語言上一直沒真正跑通。

聽起來挺玄，一個比喻就清楚了。

AR模型是用鋼筆寫文章。一筆下去就是事實，寫錯了只能繼續硬著頭皮。

Cola和ELF是用鉛筆打草稿。整段在反復涂改、揉、調，直到最后一稿才工工整整謄到稿紙上。

鋼筆出活快，但走一步算一步。鉛筆慢一點，允許全局規劃。

這兩篇論文做的事情，本質上是給LLM從鋼筆切到鉛筆。

什么是特么Cola DLM、ELF

正式展開前，先把這兩個名字拆開。

Cola DLM全稱是Continuous Latent Diffusion Language Model，連續潛空間擴散語言模型。Continuous是「連續」，Latent是「潛空間」，Diffusion是「擴散」，Language Model就是語言模型。

「潛空間」這個詞后面會反復出現，先打個底：可以把它想成一張「意思的地圖」，每個具體的意思在地圖上都有自己的位置?！附裉炫郎胶芾邸故堑貓D上的一個點，「今天爬山有點累」就在它附近，「股票跌了」在很遠的另一片區域。模型表達一個意思的時候，先在這張地圖上選位置，最后才把位置翻譯成具體的字。

四個詞，對應四個核心選擇：用連續表示、在潛空間里做、用擴散方式生成、目標是語言。

ELF全稱是Embedded Language Flows，嵌入式語言流。Embedded是「嵌入」（指詞嵌入），Language是「語言」，Flows是「流」，這里特指Flow Matching，2023年開始流行的一種生成方法，跟擴散模型是親戚。

兩個名字其實暗藏了它們各自的脾氣：Cola DLM名字四個詞，每個都在指明一個架構決定；ELF三個詞，干脆利落。這種命名風格本身就暗示了它們的設計哲學。

為什么過去這條路沒人走通

鉛筆的想法不是2026年才有的。

從2022年的Diffusion-LM開始，到SSD-LM、TESS、DiffuSeq、Plaid、Latent Diffusion LM等等，過去三年里大概有近十個團隊試過把擴散模型用在語言上，邏輯跟Stable Diffusion畫圖一樣，從一團噪聲里逐步「去噪」出一段文字。

但效果都不行。打不過同期的自回歸LLM，甚至打不過基于離散token的擴散模型（LLaDA、MDLM那一脈）。

業內一度有個共識：語言這東西天生離散，連續擴散沒戲。

何愷明和字節Seed都不信這個結論。

他們各自找到了同一個癥結：過去那些連續擴散語言模型，每去噪一步都要回頭交一次差。

這個動作的學術叫法是per-step discretization，逐步離散化。它的意思是：模型在連續空間里走一步，然后被強行拉回詞表算一次損失，看自己有沒有偏離正確答案。下一步再走，再被拉回來。

這相當于什么？相當于用鉛筆打草稿的人，每寫一筆都要立刻謄到正式稿紙上。鉛筆被偷偷換回了鋼筆，模型根本沒機會真正在連續語義里揉。

Cola和ELF做的第一件事，是同時把這個動作砍掉。

denoising全程留在連續空間，只在最后一步才映射回token。

這就是我前面提到的「把離散到連續的步驟推遲到最后一刻」。這是兩篇論文最核心的共識。

ELF 論文里有一張圖把這件事畫得特別清楚。從左到右是去噪過程：t=0.00 時是一團隨機噪聲點；t=0.25、t=0.5、t=0.99 一路過去，橙色點在連續空間里逐漸聚集成幾個簇，但始終是連續的、模糊的；只有到最后一刻 t=1.00，每個簇才坍縮成 cat / dog / bird 這種具體的離散詞。整個"想"的過程都在連續空間里發生，"說"出來只是最后一瞬間的事。

下面分頭講。它們的路徑完全相反，但都指向了這一個動作。

何愷明的解法：極簡到能讓人發笑

ELF這篇paper的作者列表有意思。一作Keya Hu和Linlu Qiu兩個MIT博士生，論文腳注里直接寫明：作者順序由拋硬幣決定。何愷明壓在最后。

整篇paper讀下來，我覺得味道是「該有的都沒省，多余的一個都不加」。

ELF的設計極致克制：

• 編碼器：直接用2020年Google出的老模型T5的encoder，凍結。不訓練、不微調，就這么用著

• 解碼器：根本沒有獨立的解碼器。同一個網絡通過一個二值開關切換，要么在去噪，要么在解碼

• 訓練目標：中間所有步驟只用最簡單的MSE損失（均方誤差），不算交叉熵。只在最后一步才算交叉熵把embedding映射回token

• 從圖像擴散搬來的工具（Flow Matching、Classifier-Free Guidance、self-conditioning）一個都沒改，原封不動遷移過來

結果出來了：105M參數的ELF-B，在OpenWebText數據集上Gen PPL達到24，只用32個采樣步驟。

這張圖是 ELF 論文開篇第一張。柱子越矮代表生成質量越好（Gen PPL 越低越好）。MDLM、Duo、FLM、LangFlow 這幾個 baseline 都要跑 1024 個采樣步驟才能達到它們各自柱子的高度，而 ELF 只用 32 步，柱子還比所有人都矮一截。

105M是什么規模？大概是GPT-2-Small的大小。一張消費級顯卡能跑。

對比同期的離散擴散模型MDLM、Duo，它們普遍用了5000億到1萬億tokens的訓練數據。ELF用了450億，差了一個數量級。

ELF在論文里寫得很明白：

現有的連續DLM不work，不是連續本身不行，是大家在它身上加了太多東西。

何愷明做事情有一個特別明顯的傾向：先把不必要的東西全拆了，看剩下的核心能跑到多遠。

ResNet是這樣：核心想法用一句話就能說清楚，加一條捷徑讓信息可以跳過某些層直接往前傳。MAE是這樣：把圖像隨機遮住75%，讓模型把它補回來。MeanFlow是這樣：一步生成圖像，不再反復迭代。

ELF也是這樣的味道。它在告訴所有人：過去三年那近十篇連續DLM論文加上去的精巧設計，可能大部分都是錯的。你只要把per-step discretization拿掉，把圖像擴散那邊驗證好的最佳實踐原封不動搬過來，連續DLM就能work。

我看到這篇論文的第一反應是想笑，因為它太何愷明了。

這是理解ELF的鑰匙：用極簡反推一件事，「連續DLM必須復雜」這個共識，本來就是錯的。

字節的解法：先想好意思，再翻譯成字

Cola DLM跟ELF味道完全相反。

整篇論文99頁，11位作者，外加港大、澳國立、北大、人大的合作者。規模上對齊了2B參數的LLaMA和LLaDA基線（具體是Text VAE 0.5B加上擴散主干1.8B，加起來約2.3B）。

我讀到一半有個感覺：字節不是在寫一篇paper，他們在寫一份宣言。

我試著用一個生活化的比喻把Cola講清楚。

你寫文章其實分兩步。

第一步：在腦子里想清楚自己要表達什么意思。這個時候你想的不是具體的字，是一團模糊的意思，比如「我想說今天去爬山很累」「我想說這個觀點跟主流不一樣」。

第二步：把這些意思翻譯成具體的字、具體的句子、具體的標點。

我們平時不會意識到這兩步是分開的，因為它們在腦子里幾乎同時發生。但你認真想想就會發現，「想清楚要說什么」和「怎么把它說出來」確實是兩件事。

Cola做的事情，是把這兩步在模型架構里顯式拆開。

「想清楚要說什么」這一步，Cola交給一個叫Text VAE的模塊。VAE全稱是變分自編碼器，做的事情簡單說就是把一段文字壓成一團向量，再從這團向量解壓回原來的文字。可以理解成它在學一種「概念表示」，每一段話對應一團數字，這團數字代表這段話的「意思」。

「按照意思生成內容」這一步，Cola交給一個叫block-causal DiT的模塊。DiT是擴散Transformer，2023年Sora同源的那一類架構。block-causal是說，這個模塊一段一段生成「概念向量」，段內可以反復調，段之間有先后順序。

最后，再用Text VAE的解碼器，把這些「概念向量」翻譯回具體的文字。

整個流程是：你輸入提示詞 → 模型在腦子里反復揉清楚要表達什么意思（生成一段段「概念向量」）→ 最后把這些意思翻譯成字。

字節把整套訓練管線畫在了論文 Figure 1 里，建議放大看一眼。左邊 Stage 1 單獨訓 Text VAE，學怎么把文字壓成 latent 又能解回來；中間 Stage 2 把 VAE 和 Diffusion Transformer（DiT）聯合訓練，讓 DiT 在 latent 空間里學先驗；右邊推理時，prefix 先編碼進 latent，DiT 塊塊往后生成新的 latent，最后 VAE decoder 把所有 latent 翻譯成文字。三階段下來就是「先想清楚要說什么，再翻譯成字」。

跟AR的區別在哪？

AR是邊想邊說，每說出一個字就立即定死。Cola是先把要說什么完整想清楚（在連續的概念空間里揉），最后才統一翻譯成字。

為什么字節要花99頁寫這件事？因為他們的野心不止于此。論文的最后一節叫Afterword，字節在里面寫了一段我覺得分量最重的話，大意是：

自回歸語言建模只是設計空間里自洽的一小角。表示綁死在token表面，訓練目標是直接對token做最大似然估計，整套環境圍繞符號性文本展開。我們這篇paper同時改了這三件事。

他們不是在做一個更好的語言模型，他們在重新定義「語言建模」這件事是什么。

這是理解Cola的鑰匙：思考和說話，可以、也應該在架構上拆開。

同一條河流

赫拉克利特說，人不可能兩次踏進同一條河流。

何愷明組和字節Seed這個月踏進的，是同一條新的河流。

更準確地說，兩條路完全不同。ELF從圖像生成那一脈走過來，主張極簡，認為過去的連續DLM設計冗余。Cola從語言建模這一脈走過去，主張分層，認為語言天然有「全局意圖+局部實現」兩層結構。

但它們的核心動作是同一個：denoising全程留在連續空間，離散化推遲到最后一刻。

這件事的深層意義比paper里的benchmark數字更大。它在質疑兩個過去被當成「必然」的假設。

第一個假設：語言天生是離散的，所以語言模型必須在離散空間生成。

但其實「語言以離散符號呈現」和「語言模型必須在離散符號上生成」是兩件完全不同的事。前者是物理事實，后者是工程選擇。ELF和Cola指出了這個選擇可能是錯的。

第二個假設：自回歸是語言模型最自然的形式，因為人就是這么說話的。

這個假設其實沒經過嚴格審視。人說話一字一字出口，但人想清楚要說什么的過程，不是一字一字想的。我們腦子里打草稿的過程更像Cola——一段意思在頭腦里反復揉，最后才落到具體的詞。

兩條路同時走到這個點，是因為這件事到了不解決就被甩開的臨界點。我感覺這就像2017年Transformer出來之前，attention這件事已經被好幾個團隊同時探索過。一個idea的時機到了，就會被很多人同時摸到。

再補充幾個細節

寫到這里主線已經講完了。但有幾個細節值得專門拎出來，它們暴露了這兩篇論文更深的野心。

測尺都得換

Cola花了大段討論一個反直覺的現象：有時候PPL（困惑度）更低的模型，生成質量反而更差。

困惑度是過去十年所有語言模型的核心評估指標，模型預測下一個token的概率有多準。低困惑度=好模型，這是LLM圈的「金本位」。

但Cola發現在連續潛空間模型里，PPL衡量的是模型對ground-truth token的概率擬合得有多準，而生成質量取決于模型能不能從prior采到decoder能解碼出語義合理文本的latent區域。這兩件事被分開了。

這意味著什么？過去十年所有「我比你低3個PPL所以我更強」的論文，那套話語在連續latent范式下可能都不太適用了。評估LLM的整套度量體系都得換。

Cola已經在做多模態了

Cola論文Section 5.5給了一段預告：用同樣的架構同時處理文本和圖像。文本走Text VAE，圖像走Image VAE，兩者的潛在向量合并到同一個block-causal DiT里學先驗。

這件事是Cola這套思路的自然延伸。一旦你接受「diffusion學的是概念分布，而不是token recovery」，那文本和圖像在概念層就是同構的。只需要不同的VAE分別處理表面形式，深層的「語義先驗」是共享的。

如果這條路走通，下一代多模態模型可能跟今天Gemini 3.1 Pro、GPT-5.5那種「文本和圖像各自被編碼成token，再塞進同一個transformer」的做法完全不一樣。

它們本質上還是把圖像擠進文本的設計空間。Cola這條路是反過來：給文本和圖像建一個共同的連續設計空間。

字節已經在論文里給出了早期實驗。左邊是文字續寫和「圖+文混合輸入→輸出文字」，中間是「文字→圖像」生成，右邊是它的統一架構圖：文本和圖像各走自己的 VAE 編碼器，但共享同一個 block-causal DiT學先驗。換句話說，意思在哪一種模態里被組織起來都是同一回事，最后只需要不同的 decoder 把它翻譯成文字或圖像。

算力門檻可能要被拉低

ELF-B只有105M參數。一張消費級顯卡能跑。

它能在OpenWebText上做到Gen PPL=24，超過參數量170M的Duo。同時只用了1/10的訓練數據。

我說幾句不嚴謹的判斷。如果這條路被驗證可以scale到百億千億，意味著語言模型訓練的算力門檻會被顯著拉低。不是說ELF-B直接能替代GPT-5，那不可能。但ELF展示了一個可能性：也許過去三年我們在LLM訓練上燒掉的錢里，相當一部分是被錯誤的歸納偏置浪費掉的。

如果連續擴散這條路真能取代AR成為主流，獨立開發者和小團隊第一次有了在前沿做事的可能性。這件事對我這種獨立開發者來說意義很大。

寫到這里我想說幾句更主觀的話。

何愷明做了一輩子圖像生成。從ResNet到MAE，再到去年的MeanFlow，他的工作幾乎全在視覺領域。這次進語言模型，做的第一件事就是用圖像那邊的方法顛覆了語言模型最基礎的假設。

這件事倒是恰好說明了一個領域的人換個領域看，原來理所當然的東西可能根本不必要。LLM圈里還沒人真的把per-step discretization拿掉，因為大家都被「語言是離散的」這個直覺綁死了。圖像那邊的人沒這個包袱，進來一看就發現：等等，這玩意兒真的必要嗎？

字節那邊的故事不太一樣。字節Seed是國內Diffusion方向最強的團隊之一，Seedance、SeedDream都是他們做的。他們一直在做圖像和視頻生成，對擴散框架特別熟。

這里說一句話外音。今年1月我寫過DeepSeek的mHC論文，里面就提到過字節Seed。DeepSeek的mHC是改造字節2024年9月那篇Hyper-Connections（HC）論文做出來的。字節在殘差連接、擴散、潛在空間這些底層方向上，本來就是國內走得最深的團隊。

他們走到Cola這一步，是從圖像那邊推到文本這邊來的。一個習慣了在潛空間里揉來揉去的團隊，看到大家還在token level上一個字一個字往外蹦，肯定覺得別扭。

兩個團隊都不是「語言模型原住民」。這件事可能不是偶然。

LLM這條賽道過去三年所有的「突破」，CoT、長上下文、Agent、RAG，本質上都是在AR這個框架內做優化。AR這個底層假設本身從來沒被嚴肅質疑過。

何愷明從圖像那邊走過來，字節從語言這邊走過去。兩條路在5月初會師。

它們都還很早。Cola的2B規模、ELF的105M規模，跟千億級別的閉源模型比都是玩具。這條路能不能走到盡頭還很難說。LLaDA、Mercury這些走離散擴散派系的團隊也沒停，AR這邊更沒停，DeepSeek V4剛發完，Opus 4.7該升級還在升級。

字節給自己最有底氣的論據是這張 scaling 曲線。同樣的算力預算（橫軸 EFLOPs），紅線是 Cola DLM，藍線是 AR，橙線是離散擴散派系的 LLaDA。最右下角 Tasks Average 那張總圖，紅線一路爬到最高。說明在嚴格對齊的 2B 規模下，Cola 不只是「能跑」，還「越大越強」。

但AR-only的局面這個月被劃開了第二道口子。第一道是2025年LLaDA、Mercury帶頭的離散擴散派系。這一次的口子更深，因為它質疑的是「語言天生離散」這個最底層的假設。

2017年Transformer論文出來的時候，當時也沒人預料到它會成為今天所有大模型的底層骨架。

這一次大概也是同一種感覺。

參考資料：

• Cola DLM論文：https://arxiv.org/abs/2605.06548

• ELF論文：https://arxiv.org/abs/2605.10938

• Cola DLM項目頁：https://hongcanguo.github.io/Cola-DLM/

• ELF代碼：https://github.com/lillian039/ELF

• 我之前寫過ResNet和DeepSeek mHC的解讀，公眾號歷史文章可以搜到