機器之心編輯部

今天一早，谷歌又發新模型了！

Gemmna 家族有了新成員 ——DiffusionGemma，一個探索文本擴散的實驗性開源模型，在文本生成任務上速度極快

根據官方介紹，DiffusionGemma 采用了 Apache 2.0 許可證發布，是一個 26B 規模的混合專家模型（MoE）。

該模型沒有沿用典型自回歸大語言模型（LLM）那種按順序、逐 token 生成的方式，而是可以同時生成整塊文本，在 GPU 上，文本生成速度最高可提升至 4 倍。

DiffusionGemma 建立在 Gemma 4 家族業界領先的「每參數智能水平」之上，同時吸收了 Gemini Diffusion 的前沿研究成果。它引入了一種全新的擴散式輸出頭，目標很明確：盡可能提高生成速度。

需要說明的是，自回歸版本的 Gemma 4 仍然是高質量生產級輸出的首選。而DiffusionGemma 更適合研究人員和開發者探索那些對速度要求極高、強調本地交互體驗的工作流，比如行內編輯、快速迭代，以及生成非線性的文本結構。

谷歌 CEO 皮查伊表示，「DiffusionGemma 是一款開放的實驗性模型，它把我們的文本擴散研究帶到了 Gemma 4 上。速度像賽馬一樣快 ：通過一次性生成整塊文本，而不是逐 token 預測輸出，推理速度最高可以提升至 4 倍。」

為開發者創造新的價值

對實時交互式 AI 應用開發者來說，本地推理最大的痛點之一就是延遲。DiffusionGemma 正是針對這個問題而來，但也做出了一些取舍。

首先是推理速度非?？?/strong>

DiffusionGemma 將解碼瓶頸從內存帶寬轉向計算本身，因此在專用 GPU 上，token 輸出速度最高可提升至 4 倍。在單張 NVIDIA H100 上，它可以達到每秒 1000+ tokens；在 NVIDIA GeForce RTX 5090 上，也能達到每秒 700+ tokens。

其次是硬件門檻相對友好

DiffusionGemma 是一個總規模為 26B 的 MoE 模型，但推理時只激活 3.8B 參數。經過量化后，它可以比較輕松地運行在 18GB 顯存以內的高端消費級獨立顯卡上。

第三，它支持雙向注意力

每次前向計算可以并行生成 256 個 token，并且每個 token 都能看到其他 token。這讓它在一些非線性場景中更有優勢，比如行內編輯、代碼補全、氨基酸序列生成，或者數學圖結構。

第四，它具備一定的自我修正能力

模型會通過多輪迭代不斷 refine 自己的輸出，并且可以一次性查看整個文本塊，從而實時發現并修正錯誤。

不過，DiffusionGemma 目前仍然是一個實驗性模型。因為它更重視速度和并行布局生成，整體輸出質量低于標準版 Gemma 4。如果應用場景對質量要求最高，官方仍然建議部署標準版 Gemma 4。

開發者也可以通過微調，讓 DiffusionGemma 在特定任務上表現更好。

下面這個例子中，Unsloth 對 DiffusionGemma 進行了微調，讓它學會解數獨。數獨對自回歸模型并不友好，因為每個 token 往往都依賴后面的 token；而 DiffusionGemma 的雙向注意力機制，讓這類任務變得更容易。

經過微調后，DiffusionGemma 正在解數獨。

為什么要用擴散模型生成文本？

過去幾年，AI 研究社區一直在探索基于擴散的文本生成方法，但要把它應用到大模型上并不容易。

DiffusionGemma 的突破點在于，它改變了模型使用硬件的方式。

傳統語言模型更像一臺打字機：從左到右，一個 token 接一個 token 地生成。在云端，這種方式很高效，服務器可以同時批處理成千上萬個用戶請求，讓硬件資源被充分利用。

但在本地運行、只有單個用戶請求時，這種逐詞生成的方式反而會讓你的獨立 GPU 或 TPU 處于低利用率狀態。它大部分時間都在等下一個「按鍵」。

DiffusionGemma 則把這個問題反了過來。它不是按順序一個詞一個詞地預測，而是一次性起草整個 256-token 文本塊。這樣一來，處理器每次都能拿到更大塊的計算任務，硬件利用率也更高。

換句話說，它把模型推理從一臺順序敲字的打字機，升級成了一臺可以同時印出整塊文本的高速印刷機。

Hugging Face 制作的 DiffusionGemma text-to-3D SVG 演示，展示了逐步生成過程。

視頻鏈接：https://mp.weixin.qq.com/s/Qf8788wjPUzs7s__hBBRkw

這也意味著，DiffusionGemma 的速度優勢主要面向本地推理和低并發推理場景。在高 QPS 的云端服務中，自回歸模型本身就可以通過批處理充分吃滿算力，因此 DiffusionGemma 的并行解碼優勢會被削弱，甚至可能帶來更高的服務成本。

它的吞吐優勢，主要體現在單個加速器上的低到中等 batch size 場景。

博客地址：https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/