谷歌發(fā)布開源實驗性模型DiffusionGemma，采用文本擴散技術(shù)，在專用GPU上實現(xiàn)最高四倍的文本生成加速，為開發(fā)者在低延遲本地工作流場景中提供了新的技術(shù)路徑。

這一模型基于谷歌Gemma 4系列架構(gòu)與Gemini Diffusion研究成果構(gòu)建，以Apache 2.0許可證開源發(fā)布。

與傳統(tǒng)自回歸大語言模型逐詞生成的方式不同，DiffusionGemma每次前向傳播可并行生成256個詞元，在單張NVIDIA H100上實測輸出速度超過每秒1000個詞元，在NVIDIA GeForce RTX 5090上則超過每秒700個詞元。

谷歌同時指出，DiffusionGemma目前仍處于實驗階段，整體輸出質(zhì)量低于標準Gemma 4模型。對于追求最高質(zhì)量輸出的生產(chǎn)應(yīng)用，谷歌建議繼續(xù)部署標準Gemma 4。

架構(gòu)創(chuàng)新：從"打字機"到"印刷機"

DiffusionGemma的核心技術(shù)突破在于改變了語言模型使用硬件的方式。

傳統(tǒng)語言模型如同打字機，從左至右逐詞生成文本。這一機制在云端服務(wù)器上效率尚可，因為服務(wù)器可將數(shù)千條用戶請求批量處理、共享算力。但當模型在單用戶本地環(huán)境中運行時，逐詞生成的方式使GPU大部分時間處于等待狀態(tài)，算力嚴重閑置。

DiffusionGemma采用文本擴散方法，將上述瓶頸從內(nèi)存帶寬轉(zhuǎn)移至計算側(cè)。

模型首先在"畫布"上生成一組隨機占位詞元，隨后進行多輪迭代精煉——在每一輪中鎖定已確認的詞元，并以其為上下文線索修正其余內(nèi)容，最終收斂為完整段落輸出。谷歌將這一過程比喻為"將單臺打字機升級為同時印刷整頁文字的大型印刷機"。

值得注意的是，這一速度優(yōu)勢具有明確的適用邊界。谷歌表示，在高并發(fā)云端服務(wù)場景中，自回歸模型可通過批量處理充分利用算力，DiffusionGemma的并行解碼優(yōu)勢遞減，反而可能推高服務(wù)成本。其吞吐量優(yōu)勢主要體現(xiàn)在單張加速器上的低至中等批次規(guī)模場景。

低硬件部署門檻，支持雙向注意力與自糾錯

DiffusionGemma為26B參數(shù)的混合專家（MoE）模型，但推理時僅激活3.8B參數(shù)。經(jīng)量化處理后，模型可在18GB顯存的消費級高端GPU內(nèi)運行，降低了本地部署的硬件門檻。

在功能特性上，模型支持雙向注意力機制，每個詞元在生成時可關(guān)注段落內(nèi)所有其他詞元。谷歌認為這一特性在非線性生成任務(wù)中具有明顯優(yōu)勢，具體包括行內(nèi)編輯、代碼填充、氨基酸序列生成及數(shù)學(xué)圖形構(gòu)建等場景。

模型還具備智能自糾錯能力，可在輸出過程中對整段文本進行實時評估和修正。

第三方AI工具公司Unsloth對DiffusionGemma進行了微調(diào)，成功使其完成數(shù)獨求解任務(wù)——這類需要前瞻推理的問題對傳統(tǒng)自回歸模型構(gòu)成挑戰(zhàn)，而DiffusionGemma的雙向注意力機制使其處理此類任務(wù)更為自然。

定位與局限：實驗探索而非生產(chǎn)替代

谷歌明確將DiffusionGemma定位于研究人員和開發(fā)者，而非直接替代現(xiàn)有生產(chǎn)模型。其目標用例集中于對速度敏感的本地交互工作流，例如文本實時編輯、快速內(nèi)容迭代以及非線性文本結(jié)構(gòu)生成。

盡管速度優(yōu)勢顯著，但谷歌坦承DiffusionGemma在輸出質(zhì)量上仍遜于標準Gemma 4，并在基準測試中呈現(xiàn)出明確的能力取舍關(guān)系。這意味著對于需要高精度輸出的商業(yè)應(yīng)用，該模型目前尚不具備替代現(xiàn)有主流模型的條件。

文本擴散技術(shù)本身并非新概念，AI研究界已探索多年，但將其應(yīng)用于大規(guī)模模型長期面臨挑戰(zhàn)。

DiffusionGemma的發(fā)布標志著谷歌在將這一研究方向推向?qū)嵱没矫孢~出了可量化的一步，其后續(xù)能否在質(zhì)量與速度之間取得更優(yōu)平衡，將是市場持續(xù)關(guān)注的焦點。