英偉達又發(fā)新模型了——NVIDIA Nemotron 3 Nano Omni 30B-A3B-Reasoning

老黃這次很狠：30B 總參數(shù)、3B 激活的 MoE，視頻 + 音頻 + 圖像 + 文本全吃，256K 上下文，還自帶推理鏈

最關(guān)鍵的是——它的開源協(xié)議是真·開源（NVIDIA Open Model Agreement），允許商用，權(quán)重數(shù)據(jù)集訓(xùn)練配方都開放

Unsloth 一夜之間就把 GGUF 跑通了，4-bit 25GB 內(nèi)存就能跑

簡介

先把家底亮一下

項目

參數(shù)

總參數(shù) / 激活參數(shù)

31B / 3B

架構(gòu)

Mamba2-Transformer 混合 MoE

視覺編碼器

C-RADIO v4-H

語音編碼器

Parakeet

LLM 主干

Nemotron-3-Nano-30B-A3B

上下文

最長 256K tokens

輸入

視頻 (mp4, ≤2 分鐘)、音頻 (wav/mp3, ≤1 小時)、圖像、文本

輸出

文本（支持 JSON、CoT 推理、tool calling、詞級時間戳）

量化

官方提供 BF16 / FP8 / NVFP4 三檔

License

NVIDIA Open Model Agreement（可商用）

這個組合最有意思的地方是Mamba2 + Transformer 混合，再疊 MoE，單次推理只激活 3B，所以同樣的卡能扛更高并發(fā)——官方給出的數(shù)據(jù)是比"另一家開源 Omni 模型"（暗指 Qwen3-Omni-30B-A3B）在視頻任務(wù)上9.2 倍吞吐，多文檔任務(wù)上7.4 倍吞吐

Pareto 曲線：多文檔與視頻場景的系統(tǒng)吞吐對比

為什么能差這么多？官方給的解法叫Efficient Video Sampling (EVS)+ 3D 卷積時空感知，再加上視頻幀剪枝（--video-pruning-rate 0.5），讓一段 1080p 視頻可以以 1FPS / 128 幀采樣，720p 可以 2FPS / 256 幀——本質(zhì)上是用結(jié)構(gòu)化稀疏把"看視頻"的算力賬省下來了

定位：多模態(tài)感知子代理

vLLM 團隊博客里的描述很到位：把它當(dāng)成 Agent 系統(tǒng)里的"眼睛和耳朵"，專門負(fù)責(zé)屏幕、文檔、音視頻流的感知，再把結(jié)構(gòu)化理解喂給下游的編排和執(zhí)行 Agent。它不是要替你寫代碼、跑工具，它是要成為 Agent 系統(tǒng)里"那個看得到聽得見的家伙"——這跟 Qwen3-Omni 想"全都干"的路線是不一樣的

典型場景官方也給了：

• 客服：Doordash 投遞地點 OCR 驗證、得來速點單確認(rèn)

• M&E 媒體娛樂：視頻/語音密集字幕、檢索、摘要

• 文檔智能：合同、SOW/MSA、科研、財務(wù)文檔

• GUI 自動化：事件管理、Agentic 搜索、瀏覽器/郵件 Agent

NVIDIA 給的口徑是"同尺寸里最強的 Omni 模型"，并且在六個公開榜單上都拿了第一

Nemotron 3 Nano Omni 橫掃六大多模態(tài)榜單

六個榜單分別是：

• MMlongbench-Doc（長文檔理解）

• OCRBenchV2（OCR 綜合）

• WorldSense（視頻常識）

• DailyOmni（日常多模態(tài)）

• VoiceBench（語音理解）

• MediaPerf（多模態(tài)吞吐 + 成本）

跟自家上一代 Nemotron Nano VL V2 對比，全面上漲，視覺、視頻、OCR、音頻四條線都有提升

相比 Nemotron Nano VL V2 的精度提升

Unsloth 那邊也跑了一份對比，他們的結(jié)論更直白——全面碾壓 Qwen3-Omni-30B-A3B

Unsloth 給出的橫向 benchmark

我個人的態(tài)度：榜單數(shù)據(jù)看看就行，真正決定你用不用的，是后面這套部署鏈路順不順手——這才是我重點寫的部分

關(guān)于開源協(xié)議（NVIDIA Open Model Agreement）

順便說一下 License，因為這次老黃給的協(xié)議比 Llama 那一票"看似開源"的協(xié)議清爽得多。我把官方原文核心點提煉了一下（原文鏈接）：

• ?可商用：永久、全球、免版稅、不可撤銷

• ?可改可分發(fā)：允許做衍生模型并以源/二進制形式發(fā)布

• ?輸出歸你：NVIDIA 不主張你用模型生成內(nèi)容的所有權(quán)

• ?? 分發(fā)時要附帶 License 副本，保留版權(quán)和歸屬聲明

• ?? 如果你拿這個協(xié)議去告 NVIDIA 侵權(quán)，授權(quán)立刻終止

• ?? 不能用 NVIDIA 商標(biāo)做品牌背書（描述來源除外）

對中小團隊和個人開發(fā)者來說，這就是**"拿來就能用"**級別的協(xié)議，比那些"7 億月活以上要單獨申請"的"偽開源"友好太多

Unsloth GGUF 火速到位：本地部署詳細(xì)步驟

這次 Unsloth 真的快，Day Zero 就和 NVIDIA 聯(lián)動出了 GGUF。模型倉庫在這：

? https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF

資源占用：消費級顯卡很輕松！害得是 Unsloth！

? ?? 一個大坑：不要用 CUDA 13.2，會輸出亂碼，NVIDIA 在修。建議 12.9 或 13.0

Unsloth 自己出了一個 Web UI，叫 Unsloth Studio，可以本地跑 GGUF、對比模型、聊天、傳圖傳音頻

Unsloth Studio 界面

MacOS / Linux / WSL 一鍵安裝：

curl -fsSL https://unsloth.ai/main/install.sh | sh
source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex
& .\unsloth_studio\Scripts\unsloth.exe studio -H 0.0.0.0 -p 8888

然后瀏覽器打開http://localhost:8888，搜 Nemotron-3-Nano-Omni，選你要的量化版下載就行

在 Studio 中搜索并下載模型 方式二：llama.cpp 命令行（更可控）

先編譯 llama.cpp（CUDA 版）：

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first \
    --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

? Apple Silicon 把 -DGGML_CUDA=ON 改成 OFF，Metal 默認(rèn)開

純文本對話（NVIDIA 推薦temp=1.0, top-p=1.0）：

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF:UD-Q4_K_XL \
    --temp 1.0 --top-p 1.0

圖片 + 音頻混合輸入（需要llama-mtmd-cli）：

./llama.cpp/llama-mtmd-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF:UD-Q4_K_XL \
    --image screenshot.png \
    --audio meeting.wav \
    -p "Summarize what is shown and said. Return key actions as bullet points." \
    --temp 1.0 --top-p 1.0

視頻按幀采樣（llama.cpp 暫不直吃視頻，曲線救國先抽幀）：

mkdir -p frames
ffmpeg -i demo.mp4 -vf "fps=1/2,scale=1280:-1" frames/frame_%04d.png

 FRAMES=$(python - <<'PY'
from pathlib import Path
frames = sorted(Path("frames").glob("*.png"))[:16]
print(",".join(str(x) for x in frames))
PY
)

 ./llama.cpp/llama-mtmd-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF:UD-Q4_K_XL \
    --image "$FRAMES" \
    -p "Analyze these sampled video frames. Summarize the sequence of events." \
    --temp 1.0 --top-p 1.0

起 OpenAI 兼容服務(wù)（推薦這種，方便接業(yè)務(wù)）：

./llama.cpp/llama-server \
    -hf unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF:UD-Q4_K_XL \
    --alias "unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning" \
    --prio 3 --temp 1.0 --top-p 1.0 --port 8001

Python 客戶端調(diào)用：

from openai import OpenAI

 client = OpenAI(
    base_url="http://127.0.0.1:8001/v1",
    api_key="sk-no-key-required",
)

 completion = client.chat.completions.create(
    model="unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning",
    messages=[{"role": "user", "content": "What is 2+2?"}],
)
print(completion.choices[0].message.content)

? ?? Ollama 用戶注意：當(dāng)前 Ollama 還跑不了它的多模態(tài)部分，因為 mmproj 視覺文件是分開的，Ollama 還沒適配。要玩多模態(tài)請走 llama.cpp 系

工具調(diào)用場景把temp=0.6, top-p=0.95即可

官方部署：vLLM 0.20.0（生產(chǎn)級）

官方推薦的生產(chǎn)部署是vLLM 0.20.0（必須這個版本，別上下浮動）。兩個鏡像選一個：

• CUDA 13.0：vllm/vllm-openai:v0.20.0

• CUDA 12.9：vllm/vllm-openai:v0.20.0-cu129

裝：

pip install vllm[audio]==0.20.0
# 或
docker pull vllm/vllm-openai:v0.20.0

? 只要用到音頻（包括視頻里抽音頻 use_audio_in_video: true），就必須裝 vllm[audio]

起服務(wù)（單卡 B200/H200/H100，推薦配置）：

vllm serve nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 \
  --served-model-name nemotron \
  --host 0.0.0.0 --port 5000 \
  --tensor-parallel-size 1 \
  --max-model-len 131072 \
  --trust-remote-code \
  --video-pruning-rate 0.5 \
  --media-io-kwargs '{"video": {"num_frames": 512, "fps": 1}}' \
  --reasoning-parser nemotron_v3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

跑 NVFP4 / FP8 時，加上--kv-cache-dtype fp8進一步省顯存

幾個平臺坑（官方明示）：

平臺

需要追加的參數(shù)

原因

RTX Pro 6000

--moe-backend triton

FlashInfer + RTX Pro 當(dāng)前有 bug

NVFP4 + TP>1

--moe-backend flashinfer_cutlass

TRTLLM_GEN MoE 內(nèi)核 bug

DGX Spark (ARM64)

--gpu-memory-utilization 0.70--max-model-len 32768--max-num-seqs 8

統(tǒng)一 LPDDR5X 內(nèi)存（128GB CPU/GPU 共享），需讓出空間

調(diào)用示例（思考模式 + 視頻）：

from openai import OpenAI
from pathlib import Path

 client = OpenAI(base_url="http://localhost:5000/v1", api_key="")
video_url = Path("media/demo.mp4").resolve().as_uri()

 resp = client.chat.completions.create(
    model="nemotron",
    messages=[{
        "role": "user",
        "content": [
            {"type": "video_url", "video_url": {"url": video_url}},
            {"type": "text", "text": "Describe this video."},
        ],
    }],
    max_tokens=20480, temperature=0.6, top_p=0.95,
    extra_body={
        "thinking_token_budget": 16384 + 1024,
        "chat_template_kwargs": {
            "enable_thinking": True,
            "reasoning_budget": 16384,
        },
        "mm_processor_kwargs": {"use_audio_in_video": False},
    },
)
print(resp.choices[0].message.reasoning, "\n---\n", resp.choices[0].message.content)

采樣參數(shù)官方推薦：

模式

temperature

top_p

top_k

max_tokens

reasoning_budget

Thinking

0.6

0.95

Instruct

0.2

1

1024

支持的 GPU：

• Blackwell：B200、RTX Pro 6000 SE、DGX Spark、Jetson Thor、RTX 5090

• Hopper：H100、H200

• Ampere：A100 80GB

• Lovelace：L40S

除了 vLLM，SGLang也已經(jīng)支持（BF16 變體，F(xiàn)P8/NVFP4 待跟進），TensorRT-LLM、TensorRT Edge-LLM（Jetson Thor）也都有 cookbook

一些個人觀察

聊聊我的態(tài)度，不全說好話：

我看好的地方

• 協(xié)議是真開放——商用零摩擦，對國內(nèi)中小廠、個人開發(fā)者就是白嫖級別的福利

• 3B 激活的 MoE + 視頻幀剪枝這套組合，是把"持續(xù)感知"這個 Agent 真痛點直接打中了，9 倍吞吐不是噱頭，是給永遠(yuǎn)在線的 Agent 準(zhǔn)備的

• 256K 上下文 + 詞級時間戳的轉(zhuǎn)寫 + tool calling，幾乎可以一個模型把會議助理、視頻檢索、屏幕代理三件事一起干

• Unsloth Day Zero GGUF，25GB 內(nèi)存就能跑 4-bit，意味著一臺普通游戲本就能本地起 Agent，這是 Qwen3-Omni 沒做到的

我潑冷水的地方

• 只支持英文——中文能力官方明確沒承諾，國內(nèi)業(yè)務(wù)場景需要自己評估

• vLLM 必須 0.20.0，版本鎖得很死，老鏡像別想直接升

• CUDA 13.2 輸出亂碼，老黃家自己的 CUDA 還有這種 bug

• Ollama 暫不支持多模態(tài)，想一鍵ollama run的朋友再等等

• 視頻 ≤2 分鐘，長視頻還是得切片喂

適合誰

• 想做 GUI Agent / 瀏覽器 Agent / 屏幕監(jiān)控類應(yīng)用 → 極力推薦

• 文檔智能（合同/財務(wù)/科研 OCR + 推理）→ MMlongbench-Doc 和 OCRBenchV2 第一，閉眼上

• 短視頻/會議紀(jì)要/語音轉(zhuǎn)寫 + 提煉 → 一把梭

• 中文為主的 toC 場景 → 再等等，或者拿這個做底座微調(diào)

我自己接下來會拿它做兩件事：一是接到本地的錄屏 → 操作回放分析流程里看看；二是把會議視頻丟進去做"看完一段視頻自動產(chǎn)出 todo + 時間戳"的工作流

制作不易，如果這篇文章覺得對你有用，可否點個關(guān)注。給我個三連擊：點贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！