視頻版Vision-Banana來了？大一統框架UniVidX刷新視頻任務SOTA

近日，由香港科技大學 MMLab 及合作團隊完成的研究工作「UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors」被計算機圖形學頂級會議 SIGGRAPH 2026 正式接收。

• 論文地址：https://arxiv.org/pdf/2605.00658
• 代碼：https://github.com/houyuanchen111/UniVidX
• 項目主頁：https://huggingface.co/houyuanchen/UniVidX
• 
  

圖 1：該圖系統性展示了 UniVidX 在多模態視頻生成中的統一建模能力，覆蓋 Text→X、X→X 及 Text&X→X 三類核心范式。上半部分為 UniVid-Intrinsic，支持逆向渲染、重打光、Intrinsic 生成等任務；下半部分為 UniVid-Alpha，支持 RGBA 生成、視頻摳圖與視頻 inpainting 等任務。結果表明，單一框架即可覆蓋原本需要多個獨立模型完成的復雜視頻圖形任務。

該工作提出了一個面向多模態視頻生成與理解的一體化統一框架 UniVidX，在多項視頻圖形任務上達到或刷新當前最優性能，標志著視頻擴散模型在通用化方向上的重要進展。

圖 2：該圖展示了 UniVidX 的核心結構，包括隨機條件掩碼、解耦門控 LoRA 以及跨模態自注意力。不同模態在訓練中被動態劃分為條件或目標，從而實現全方向生成能力。通過共享注意力機制與模塊化參數適配，模型在保證一致性的同時有效避免模態間干擾。

長期以來，視頻圖形學與視頻生成領域的發展呈現出明顯的任務割裂。不同問題往往依賴獨立建模，例如視頻逆向渲染、視頻重打光、視頻摳圖、視頻 inpainting 以及文生視頻等任務，通常需要分別訓練專用模型來完成。

這種以固定輸入——輸出映射為核心的建模方式，限制了模型對復雜真實場景的適應能力，也阻礙了跨任務知識的共享與遷移。在實際應用中，視頻內容往往涉及多種模態與多種操作的組合，傳統方法難以提供統一且高效的解決路徑。

圖 3：該圖對比了 UniVid-Intrinsic 與現有方法在 Intrinsic 生成任務中的表現。相比基線方法存在的模態錯位與細節缺失，UniVidX 在 RGB、反照率與法線之間保持了更高的一致性。結果表明，該方法能夠穩定生成具有物理一致性的多模態視頻序列。

針對這一問題，UniVidX 從建模范式上進行了系統性重構。該框架的核心思想，是將不同視頻圖形任務統一為多模態條件生成問題，使任意模態既可以作為輸入條件，也可以作為生成目標，從而實現「任意模態到任意模態」的統一建模能力。在這一統一空間中，RGB 視頻、法線、反照率、光照、Alpha 通道以及前景背景等信息不再彼此割裂，而是通過共享的生成機制進行協同建模。

圖 4：該圖展示了 UniVidX 在 Intrinsic 生成和 RGBA 生成任務中的定量評測。無論在用戶評分還是時間一致性指標上，UniVidX 均優于現有方法。值得注意的是，該方法可實現多層分解生成，體現出更強的統一建模能力。

為了實現這一統一能力，UniVidX 在模型結構與訓練機制上提出了一系列關鍵設計。

首先，通過隨機條件掩碼機制，模型在訓練過程中不斷改變輸入與輸出模態的劃分，從而學習全方向的生成關系，而非固定映射。這一機制使模型具備更強的泛化能力，可以適應多樣化的任務需求。

其次，通過解耦門控 LoRA，模型為不同模態分配獨立參數空間，并在對應模態作為生成目標時動態激活，從而有效避免不同模態之間的參數干擾，同時保留預訓練擴散模型的原始生成能力。

此外，跨模態自注意力機制通過在不同模態之間共享信息，實現了幾何、光照與語義層面的統一約束，顯著提升了生成結果的一致性與穩定性。

圖 5：該表系統比較了 UniVid-Intrinsic 與多種代表性方法在反照率、光照、法線及正向渲染任務上的性能。UniVidX 在 PSNR、SSIM 及 LPIPS 等指標上整體領先。結果驗證了統一框架在多任務場景中的綜合優勢。

在具體實現上，研究團隊基于該框架構建了兩個代表性模型，用于覆蓋不同類型的視頻圖形任務。UniVid-Intrinsic 面向 Intrinsic，可統一處理 RGB、反照率、輻照度和法線等模態，支持文本到 Intrinsic 生成、視頻逆向渲染、正向渲染以及視頻重打光等任務。

與此同時，UniVid-Alpha 面向視頻層級分解與合成，統一建?；旌弦曨l、前景、背景與 Alpha 通道，支持視頻摳圖、視頻 inpainting 以及前景與背景替換等關鍵應用。兩個模型在統一框架下共同支持 Text→X、X→X 以及 Text&X→X 三類生成范式，總計覆蓋十五類典型視頻任務，驗證了該方法的廣泛適用性。

圖 6：該圖展示了不同方法在逆向渲染和正向渲染任務中的視覺效果。相比其他方法存在的偽影與細節丟失，UniVidX 生成結果更接近真實分布。尤其在光照一致性與幾何細節方面，表現出更高的穩定性與精度。

值得關注的是，UniVidX 在數據效率方面表現出顯著優勢。實驗結果表明，即使在不足千條視頻的數據規模下，模型仍能夠在多個任務上達到或超過現有最優方法，并在真實場景與分布外數據上保持良好的泛化能力。這一現象表明，該方法并非依賴大規模任務數據進行學習，而是通過合理的結構設計與訓練策略，有效激活并利用了預訓練視頻擴散模型中蘊含的動態世界先驗。

圖 7：該表展示了 UniVidX 在真實世界 MAW 數據集上的反照率估計性能。盡管僅在合成數據上訓練，模型仍取得最佳強度誤差指標，并在色度誤差上保持競爭力。結果表明該方法具備良好的跨域泛化能力。

在系統評測方面，UniVidX 在多個關鍵任務中取得領先表現。在視頻逆向渲染與正向渲染任務中，模型在 PSNR、SSIM 及感知指標上整體優于現有擴散模型方法；在法線估計任務中，在顯著減少訓練數據規模的情況下仍達到接近甚至優于專用模型的性能；在視頻摳圖任務中，作為無需額外輔助信息的模型，其結果超過多種依賴 mask 輸入的方法。同時，在文本驅動生成任務中，模型在視覺質量、語義一致性以及跨模態一致性方面均獲得更高評價，且在時間一致性方面顯著優于圖像級方法。

圖 8：該表對比了 UniVidX 與多種專用法線估計方法的性能。盡管訓練數據規模顯著更小，UniVidX 仍達到接近甚至優于部分專用模型的精度。該結果體現了利用擴散先驗進行統一建模的高數據效率優勢。

從更高層面來看，UniVidX 的價值不僅體現在單項任務性能的提升上，更體現在其系統能力的整合與擴展。由于所有模態共享統一的生成框架，不同任務可以在同一模型內部靈活組合，從而支持更加復雜的視頻編輯與內容生成流程。

例如，可以先進行視頻逆向渲染獲取物理屬性，再基于文本進行重打光或材質編輯；也可以通過 Alpha 分解實現視頻 inpainting 與背景替換。這種多模態可組合的能力，使 UniVidX 從單一模型擴展為面向復雜應用的統一視頻圖形引擎。

圖 9：該表展示了 UniVid-Alpha 在視頻摳圖任務上的定量表現。作為無需輔助 mask 輸入的方法，UniVidX 在 MAD、MSE 等關鍵指標上優于多種現有方法。結果說明擴散模型先驗能夠有效替代傳統顯式分割信號。

總體而言，UniVidX 的提出標志著視頻擴散模型正在從單一任務工具向通用視頻圖形基礎模型轉變。該工作驗證了一個重要方向：在具備強大預訓練先驗的前提下，通過合理的多模態建模機制，可以將傳統圖形學中的分解、估計、生成與編輯任務統一到同一框架中。這一進展不僅為視頻生成與理解提供了新的技術路徑，也為自動駕駛仿真、具身智能、影視制作等領域的實際應用奠定了重要基礎。

作者介紹

本文第一作者為南京大學本科生陳厚源，即將入學香港科技大學 MMLab 開展研究。本文通訊作者為香港科技大學 MMLab 饒安逸老師。值得一提的是，斯坦福大學博士生 Lvmin Zhang 也是本文作者之一，他此前曾與饒安逸老師合作完成 ControlNet、IC-Light 等代表性工作，其中 ControlNet 曾獲 ICCV Marr Prize。此外，清華大學趙昊老師也為該工作提供了重要指導，共同推動了項目的完成。