整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

全球開源大模型陣營又迎來一位新成員。

6 月 3 日，Google 正式發布Gemma 4 12B。這款新模型的目標非常明確：把原本需要云端服務器才能運行的多模態 AI 和智能體能力，帶到普通用戶手中的筆記本電腦上。

簡單來說，只要擁有一臺配備 16GB 內存的普通筆記本，用戶就能在本地離線運行這個模型。它不僅能夠理解文本，還可以處理圖片和音頻，并具備復雜推理與智能體任務執行能力。

對于個人開發者、中小企業乃至普通用戶而言，這意味著部署和使用 AI 的門檻進一步降低。

補齊 Gemma 產品線空白

回看兩個月前，谷歌發布了 Gemma 4 系列首批模型，包括高效 20 億參數版（E2B）、高效 40 億參數版（E4B）、260 億參數混合專家模型（26B MoE）以及 310 億參數稠密模型（31B）。

這些模型已經不再局限于簡單對話場景，而是面向復雜推理、多步驟任務執行以及智能體工作流等應用。

此次發布的 Gemma 4 12B，則位于輕量級 E4B 與旗艦級 26B MoE 之間，擁有約 119.5 億參數，也算是補全其產品線的空檔。

事實上，過去很長一段時間里，能夠同時處理圖片、音頻的多模態模型往往面臨兩個選擇：要么調用云端 API 按量付費，要么依賴高端顯卡和大容量顯存的本地設備。

對于經常出差、需要離線工作的用戶來說，一旦斷網，AI 能力幾乎無法使用。

Gemma 4 12B 的出現，改變了這種現狀，它不僅將硬件門檻壓縮到普通筆記本級別，也是 Gemma 系列首個原生支持音頻理解的中端模型。

CSDN 6 月寵粉福利！

無套路領取 2 00 小時 GPU 算力

瑞幸咖啡/肯德基早餐/麥當勞套餐/下午茶等能量套餐任選其一

入群還可每月定期抽取旗艦顯卡、AI PC 等極客神裝

五大核心亮點

與此前版本相比，Gemma 4 12B 最大的變化并不只是參數規模，而是整體架構設計思路：

• 首先是統一多模態架構。無需多模態編碼器，Gemma 4 12B 讓圖像和音頻直接進入模型主干網絡。

• 其次是推理能力的大幅提升。根據谷歌公布的數據，其基準測試表現已經接近參數規模更大的 26B 混合專家模型，能夠勝任復雜的多步驟邏輯推理和智能體任務。

• 在部署門檻方面，Gemma 4 12B 僅需約 16GB 顯存或統一內存即可運行，意味著不少主流筆記本電腦都能實現本地部署。

• 開源生態也是其重要優勢之一。Gemma 4 12B 采用 Apache 2.0 許可證發布，可免費用于商業場景，并兼容主流開源開發框架和推理工具鏈。

• 此外，谷歌還為模型加入了多 Token 預測（MTP）草稿模塊，通過提前預測后續 Token 來降低生成延遲，從而提升整體響應速度。

接下來，我們將具體看看 Gemma 4 12B 的技術突破。

普通筆記本也能運行智能體

對于許多開發者而言，Gemma 4 12B 最具吸引力的地方在于，它讓本地智能體應用變得更加現實。

在公開基準測試中，該模型的表現已經接近 26B MoE，但內存占用卻不到后者的一半。

基于此，用戶不需要使用昂貴的工作站或服務器，只憑一臺 16GB 內存的消費級筆記本電腦，就能體驗完整的多模態交互和智能體能力。

與此同時，模型還支持最高 256K 上下文窗口。

這意味著它能夠一次性處理超長文檔、龐大代碼庫、數小時會議記錄或大型財務報告等復雜內容。

Gemma 4 12B 還內置了原生“思考（Thinking）”模式，在生成答案前會先進行推理規劃，從而提升復雜任務的處理質量。此外，模型開箱即支持函數調用（Function Calling）與系統提示（System Prompt）。

取消編碼器：Gemma 4 最大的技術突破

如果說本地部署能力是 Gemma 4 12B 最容易被感知的亮點，那么其背后的架構創新才是真正值得關注的部分。

長期以來，多模態模型普遍采用“編碼器 + 大語言模型”的雙階段結構。圖片需要先經過視覺編碼器處理，音頻則要通過專門的語音編碼器轉換，隨后才能進入語言模型進行理解和推理。

這種方案雖然成熟，但也帶來了額外的計算開銷、顯存占用以及系統復雜度。

Gemma 4 12B 選擇了一條更加激進的路線。

Google 移除了傳統視覺編碼器，改用一個僅有約 3500 萬參數的輕量級模塊，通過一次矩陣運算便將圖像數據映射到模型嵌入空間。至于音頻部分，則進一步取消了音頻編碼器，讓原始音頻波形直接映射到與文本 Token 相同的表示空間。

換句話說，圖片、聲音和文本最終都會以統一形式進入同一個大語言模型主干網絡進行處理。

這種“無編碼器統一架構”帶來了幾個直接收益：

• 一是減少多模態任務中的處理延遲；

• 二是顯著降低顯存和內存需求；

• 三是讓整個多模態系統能夠以統一方式進行訓練和微調，而不必分別維護多個子模型。

對于企業開發團隊而言，這意味著更低的部署成本、更簡單的工程架構，以及更高效的模型定制能力。

上手 Gemma 4 12B

目前，開發者已經可以通過多種方式快速上手。

在本地體驗方面，LM Studio、Ollama、Google AI Edge Gallery、Google AI Edge Eloquent 以及 LiteRT-LM 等工具均已支持部署。

模型權重已經同步開放下載，開發者可以直接從 Hugging Face（https://huggingface.co/collections/google/gemma-4）或 Kaggle （https://www.kaggle.com/models/google/gemma-4）獲取預訓練版和指令微調版模型。

在生態兼容性方面，Gemma 4 12B 已支持 Hugging Face Transformers、llama.cpp、MLX、SGLang、vLLM 等主流推理框架，同時也能夠借助 Unsloth 完成高效微調。

對于企業用戶而言，也可以通過 Google Cloud、Cloud Run、GKE 等云服務快速完成生產環境部署，并接入 Gemini 企業智能體平臺提供在線服務。

整體來看，Gemma 4 12B 的意義不只是新增一個 120 億參數級別模型，更像是谷歌對“端側 AI”路線的一次推進：在盡量不犧牲推理能力的前提下，把多模態與 Agent 能力從云端進一步拉回本地設備。

對于希望離線運行 AI、控制數據隱私或降低推理成本的開發者來說，這可能會成為今年最值得關注的開源模型之一。

參考：https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemma-4-12b/

CSDN 6 月寵粉福利！

無套路領取 2 00 小時 GPU 算力

瑞幸咖啡/肯德基早餐/麥當勞套餐/下午茶等能量套餐任選其一

入群還可每月定期抽取旗艦顯卡、AI PC 等極客神裝