機器之心編輯部

視頻生成大模型的競爭，正在從誰生成得更好看，轉向誰能實時互動。

過去一年多，主流視頻大模型的迭代方向大體相似：提升分辨率、拉長生成時長、優化運動一致性、增強指令可控性。用戶輸入提示詞，模型完成推理后輸出一段長度相對固定的視頻，這幾乎已經成為行業默認流程。

但實時交互場景正在提出新的要求。

視頻通話、實時陪伴、虛擬偶像、互動直播，都無法只依賴離線生成一段成片。用戶會不斷提問、打斷、引導角色做出新的反應；角色也需要在對話過程中持續理解語音、調整動作、維持形象，并把新的反饋實時呈現在畫面里。

換句話說，視頻模型不再只需要生成得好，還要隨時聽得懂、馬上有反應、長時間不掉線。

正是在這個節點上，生數科技把 Vidu S1 帶到了實時交互這條新路線上。

在今天舉行的 2026 全球數字經濟大會上，生數科技創始人朱軍正式對外發布全新實時交互模型 Vidu S1。該模型由朱軍教授的 00 后博士生張金濤擔任負責人，帶領團隊完成 Vidu S1 全鏈路研發。Vidu S1是生數科技通用世界模型整體布局在實時交互式生成方面的一個重要體現。

Vidu S1 面向的是一類全新的使用場景：讓視頻模型從離線成片，走向可對話、可響應、可持續在線的實時交互。它的核心能力包括語音實時控制視頻生成內容、無限長實時生成、540P (960×540) + 25FPS (最高可支持 42FPS) 實時交互，以及自定義初始圖像與音色。難得的是，這套實時交互能力在消費級顯卡上就能跑起來。

這種革新改寫了數字人的創建流程。

過去，數字人的制作更像一個小型項目：需要準備素材、完成建模或訓練，再做口型、動作和形象適配。制作周期從幾分鐘到一天不等。

Vidu S1 采用更純粹的生成式路線，省去了離線建模和角色訓練環節。用戶只需上傳一張首幀圖，模型就能快速理解角色的身份、外觀和風格，并在交互過程中實時生成該角色的表情、口型、動作與姿態；再結合自定義音色，數字人也能保持形象與音色的統一。

從「上傳素材等待訓練」到「上傳首幀直接交互」，個性化數字人的使用門檻大幅降低。

我們也提前體驗了 Vidu S1 的實際效果。比如，我們上傳了一張最近爆火的負鼠表情包，只需簡單設置，一個會說天津話的負鼠角色就出現在了屏幕里。它不只能接話、順著話題往下聊，還能聽懂動作指令：你讓它比贊、摸鼻子、眨眼睛，它都能在畫面里實時做出對應動作。

這正是 Vidu S1 最值得關注的地方。它并不是對已有視頻生成能力的常規升級，而是為實時交互式視頻模型確立了新的技術基準。

AI 視頻的下一階段已經浮現：生成質量仍然重要，但已只是起點。能否實時交互，正在成為新的分水嶺。

從離線生成到實時交互，Vidu S1 定義視頻生成模型新基準

從離線播放到雙向互動：交互范式的根本轉變

過去視頻生成模式可以概括為三步：用戶輸入提示，模型進行一系列推理計算，完成后一次性輸出一段音視頻內容。這套邏輯本質上是一次性內容交付，用戶在生成過程中沒有任何介入和修改的空間。

Vidu S1 改變的正是這一交互范式。

它支持通過語音甚至攝像頭畫面與角色進行實時對話，用戶說一句話，模型立刻理解語義并同步生成對應的視覺反饋，這個過程不是先生成完整視頻再播放，而是像視頻通話一樣邊理解、邊生成、邊輸出。用戶可以在互動過程中隨時改變指令，模型也會隨之調整下一步的畫面內容，不需要重新發起一次生成請求。

值得一提的是，Vidu S1 還具備一定程度的場景理解能力：當用戶開啟攝像頭，模型能識別畫面中的人物數量、動作狀態等信息，并據此給出實時反饋，而不只是被動響應語音指令。這讓交互不再局限于對話本身，也延伸到了對物理環境的感知。

語音指令實時跟隨，不只是驅動嘴型，而是驅動行為

數字人技術發展到今天，多數產品仍停留在音頻驅動口型階段。這種方式的局限很明顯，動作數量有限、組合痕跡明顯，用戶很容易感覺到這是被安排好的表演，而不是真實的即時反應。

Vidu S1 采用實時視頻生成技術架構，讓模型不僅能聽清語音內容，更能聽懂對話中的語義和情緒，并實時生成與之匹配的表情、手勢乃至完整的肢體動作，而不是從固定動作庫里調用現成片段。

語音指令 實時跟隨。從「語音驅動口型」邁向「語音驅動行為」，讓角色聽得懂、動得準、反饋更自然

實時生成 無限時長。全球領先的無限時長，實時互動視頻大模型

支撐這套能力的，是自回歸擴散模型 (AR + Diffusion) 路線：模型并非一次性產出完整片段，而是基于已經生成的歷史畫面，結合用戶當前的語音、指令等上下文信息，實時預測并生成下一幀內容。這種逐幀生成的方式，天然具備可被實時打斷和改寫的特性，用戶隨時發出的新指令，都能被模型實時理解并體現在后續畫面中，不必等待一整段視頻生成完畢再重新開始。

無限時長實時生成

除了交互式實時生成，Vidu S1 還首次實現了無限時長的實時視頻生成。即使連續生成數小時，畫面仍能保持穩定，不會快速漂移或崩壞。

實現長時間連續互動，僅僅 “持續生成” 還不夠。模型還需要在長時間運行中同時保持角色身份穩定、動作自然連貫，并能夠持續接收用戶指令、實時做出響應。Vidu S1 既能在長時間生成中保持角色形象穩定、動作自然連貫，也能持續接收用戶語音指令并實時作出響應，率先實現無限時長的生成式視頻互動。

540P+25FPS 背后：實時交互拼的是模型與系統協同

在實時交互場景下，分辨率和幀率是直接決定用戶體驗是否流暢的關鍵門檻。視頻通話、直播互動這類場景對模型提出的要求是持續輸出、快速響應，并且在長時間運行中保持幀率穩定，任何一次卡頓或延遲都會被用戶直接感知。

Vidu S1 給出的答案是540P (960×540) 分辨率、25FPS 幀率 (最高支持 42FPS) 的實時生成能力，在同類實時交互方案中處于行業前列。

540P + 25 FPS 實時交互。支持 540P + 25 FPS 的高分辨率實時視頻互動生成 （最高支持 42 FPS）

要實現這樣的指標，背后離不開模型架構和系統工程兩個層面的協同優化：

在模型側，Vidu S1 基于生數科技的 TurboDiffusion [1] 推理加速框架，通過少步生成、低比特注意力 SageAttention [2]、稀疏注意力 SLA [3] 和 SpargeAttention [4] 等推理優化技術，大幅降低單幀生成所需的計算成本，在消費級顯卡上就可以實現 540P 分辨率、25FPS（最高支持 42 FPS）實時生成

在系統側，Vidu S1 基于生數科技的 TurboServe [5] 推理部署引擎，實現高效的推理請求調度。系統持續記錄用戶輸入、角色狀態和歷史畫面，并根據交互狀態動態調度計算資源。

通過模型推理與流式服務的協同優化，Vidu S1 實現了從 “把視頻生成得更快”，到 “讓視頻持續在線、穩定輸出、實時響應” 的關鍵跨越。

540P + 25FPS (最高支持 42FPS) 讓實時視頻生成模型具備了進入視頻通話、直播、實時陪伴、互動游戲乃至 XR 場景的基礎能力門檻。這些場景對延遲穩定性和長時間在線能力的要求，是傳統離線生成模型完全無法滿足的。

自定義角色，支持任意圖片與音色進行數字人創建

用戶在體驗頁面中可以上傳圖片創建自己的角色。無論是真人形象、動漫人物、萌寵，還是游戲角色和其他虛擬形象，都可以作為初始角色使用；聲音層面，用戶也可以選擇系統音色，或錄制自己的聲音進行定制。

這意味著，數字人的創建門檻被進一步降低。

普通用戶可以用寵物、插畫或自創人物生成互動角色；企業未來則可以通過 API，將品牌 IP、虛擬客服、數字主播、游戲 NPC 或教育陪練接入自己的業務。

Vidu S1 的想象空間，不再局限于數字人產品，而是進一步延伸到 AI Character、互動內容和實時視頻基礎設施。

了解更多細節，可參考技術報告：https://jt-zhang.github.io/files/Vidu_S1.pdf

一手測試：女孩、學長、狐妖、蒙娜麗莎，都被 Vidu S1「喚醒」了

更重要的是，Vidu S1 是完全公開試玩的（https://www.vidu.cn/vidu-stream），可自定義初始圖像實時互動，同時還開放了 API 平臺。實際效果如何，我們親自上手體驗了一番。Vidu S1 預設了多個角色，用戶進入頁面后可以直接選擇角色開啟通話。

內測體驗地址：

• 國內地址：https://www.vidu.cn/vidu-stream
• API 地址：https://platform.vidu.cn/live/landing
• 客戶端體驗方式：在手機應用商店搜索「Vidu AI Pro」下載最新版本，進入 APP 內點擊「Vidu S1」即可體驗

我們首先從預置角色開始測試。用戶只要選定角色，就可以通過麥克風直接發出語音指令。角色會在畫面中實時回應，并根據對話內容實時生成表情、口型和動作反饋。

通過視頻聊天，我們可以直接用語音指揮數字人做出不同動作。比如，當我們要求它「舉起網球拍」這個動作時時，畫面中的數字人會根據指令自然調整身體姿態，抬手完成揮拍的動作。

又比如，當我們發出「雙手放在胸前比心」的指令后，畫面中的數字人響應很快，手部位置、身體姿態和表情銜接都比較自然。語音在這里已經延伸為角色行為生成的控制信號。

在接下來這個測試中，數字人在回應時語氣自然，節奏也與真實交流相符。它會順著用戶的問題繼續展開，也會根據當前語境調整表情和狀態。尤其是在日常的閑聊場景里，這種自然接話的能力會讓角色更有在場感。

我們還臨時提出了幾個更細的動作要求，比如推眼鏡、撩頭發，都較好地完成了。

在下面這個測試中，該角色展現出了極高的交互智能與情緒感知力。不僅對答如流、轉承自然，更能主動引導話題、有效避免冷場，對隨機提出的開放性問題亦能應對自如。在指令執行層面，角色對「比心」、「施法」等動態指令的完成度極高；在情感表達上，其「生氣」等微表情的管理也十分精準到位。

除了預置角色，Vidu S1 也支持用戶上傳圖片創建自己的角色。創建過程中，用戶可以直接選擇系統提供的預置音色，也可以錄制自己的聲音，讓角色在視覺形象和聲音上都具備更強的個性化特征。

更讓我們意外的是創建速度。上傳圖片并完成基礎設置后，新角色幾乎可以立即進入對話狀態。

最后，我們上傳了一張《蒙娜麗莎》的圖片進行測試。

進入通話后，畫面中的蒙娜麗莎不再只是保持原本的經典微笑，而是可以根據語音輸入開口說話，并在對話過程中生成口型、表情和輕微動作反饋，無論是抬手動作還是生氣時的表情和語氣，都非常自然。

自定義角色可以覆蓋真人、動漫、萌寵等常見形象。對于內容創作者來說，這類能力打開了更大的想象空間：一張歷史人物畫像、一幅插畫、一個品牌 IP，甚至一張風格化角色圖，都有機會被快速變成可對話、可表演、可持續互動的數字角色。

結語：視頻生成模型的下一站，是實時交互模型

過去，視頻大模型主要服務于內容創作，用戶關心的是視頻清晰度、夠不夠好看。接下來，視頻大模型會進入實時交互場景，用戶開始關心模型能否實時聽懂需求？能不能馬上做出反應？能否長時間保持同一個角色？是否可以接入直播、陪伴、游戲和 XR？

這些問題，單靠傳統離線視頻生成無法解決。

實時交互模型讓視頻從播放對象變成交流對象，數字人也因此從會說話的形象，走向可以被語音驅動、感知環境、持續生成行為的在線角色。

這正是 Vidu S1 想要定義的行業位置。

從率先提出 U-ViT 架構，到率先發布實時交互模型，生數科技始終走在視頻大模型技術演進的前沿。其持續領先的技術布局，不僅展現了深厚的研發實力，也再次驗證了其對 AI 視頻發展方向的前瞻判斷。

未來，行業競爭將不再局限于視頻生成質量，而是圍繞實時響應、角色一致性與長期在線能力展開。隨著流式視頻模型和 AI Character 的持續發展，數字人也將從內容生產工具，進化為下一代人機交互入口。

[1] TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times.

[2] SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration.

[3] SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention.

[4] SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference.

[5] TurboServe: Serving Streaming Video Generation Efficiently and Economically.

文中視頻鏈接：https://mp.weixin.qq.com/s/eIuLWSG6_9RknAIVjO3mQA