WorldForge：一種實(shí)現(xiàn)相機(jī)軌跡可控的視頻生成方法。

作者丨鄭佳美

編輯丨岑 峰

過(guò)去兩年，視頻生成的發(fā)展幾乎是指數(shù)級(jí)的。從最早只能生成模糊片段，到如今可以生成具有敘事結(jié)構(gòu)、光影一致性甚至風(fēng)格控制的長(zhǎng)視頻，行業(yè)表面上已經(jīng)接近一個(gè)階段性成熟。

但如果把評(píng)價(jià)標(biāo)準(zhǔn)從“能不能生成一段視頻”稍微提高到“能不能控制鏡頭”，問(wèn)題就會(huì)完全暴露出來(lái)。當(dāng)前大多數(shù)模型仍然停留在一種近似二維的生成范式中，它們擅長(zhǎng)在時(shí)間上延續(xù)視覺(jué)模式，卻缺乏對(duì)空間結(jié)構(gòu)的穩(wěn)定建模能力。

一旦涉及視角變化，模型往往無(wú)法保證同一個(gè)物體在不同幀之間的幾何一致性，人物會(huì)發(fā)生細(xì)微但累積的漂移，建筑結(jié)構(gòu)在移動(dòng)中逐漸扭曲，遮擋關(guān)系也難以維持連續(xù)，這意味著模型生成的并不是一個(gè)被持續(xù)觀察的世界，而是一系列在視覺(jué)上相似但空間上不一致的結(jié)果。

在這樣的行業(yè)背景下，西湖大學(xué) AGI Lab 研究團(tuán)隊(duì)提出了論文《Taming Video Models for 3D and 4D Generation via Zero Shot Camera Control》。值得一提的是，這篇論文也入選了CVPR Highlight。與以往通過(guò)重新訓(xùn)練模型來(lái)引入控制能力的路徑不同，這項(xiàng)工作將問(wèn)題重新落回到推理階段本身，嘗試在不改變模型參數(shù)的情況下，讓相機(jī)軌跡成為生成過(guò)程中的約束條件，使模型在每一步生成中持續(xù)對(duì)齊同一個(gè)空間結(jié)構(gòu)。

換句話說(shuō)，這項(xiàng)研究關(guān)注的不是如何讓模型生成更多內(nèi)容，而是如何讓模型在視角變化中保持世界的一致性，從而把視頻生成從二維視覺(jué)合成，推進(jìn)到具有三維結(jié)構(gòu)約束的動(dòng)態(tài)世界建模。

如果從應(yīng)用角度理解這一點(diǎn)，可以把它看成一種能力的轉(zhuǎn)變。過(guò)去模型更像一個(gè)能夠不斷畫(huà)出新畫(huà)面的系統(tǒng)，而現(xiàn)在的目標(biāo)，是讓模型像一個(gè)可以移動(dòng)的攝影機(jī)，在同一個(gè)場(chǎng)景中進(jìn)行觀察和記錄。無(wú)論是商品展示、空間漫游，還是內(nèi)容創(chuàng)作中的鏡頭設(shè)計(jì)，本質(zhì)上都依賴(lài)這種能力的成立。

WorldForge 的提出，正是在這一關(guān)鍵轉(zhuǎn)折點(diǎn)上，給出了一個(gè)不依賴(lài)額外訓(xùn)練、卻能夠?qū)崿F(xiàn)精確相機(jī)控制的路徑，也因此成為當(dāng)前視頻生成從“生成能力競(jìng)爭(zhēng)”走向“空間一致性與可控性競(jìng)爭(zhēng)”的一個(gè)代表性工作。

論文地址：https://arxiv.org/pdf/2509.15130

01

跨任務(wù)、多指標(biāo)的統(tǒng)一性能提升

在實(shí)驗(yàn)結(jié)果方面，研究團(tuán)隊(duì)首先驗(yàn)證了 3D 靜態(tài)場(chǎng)景生成，也就是單圖到多視角任務(wù)，相關(guān)數(shù)據(jù)來(lái)自 Table 1。從生成質(zhì)量看，WorldForge 的 FID 為 96.08，是所有方法里最低的，CLIPsim 為 0.948，是所有方法里最高的。作為對(duì)比，TrajectoryCrafter 的 FID 為 111.49，CLIPsim 為 0.910，NVS-Solver 的 FID 為 118.64，CLIPsim 為 0.937。

這說(shuō)明 WorldForge 在真實(shí)感和語(yǔ)義一致性上都更強(qiáng)，F(xiàn)ID 從 118 下降到 96，降幅約 20%，CLIPsim 從 0.91 提升到 0.948，說(shuō)明生成結(jié)果既更真實(shí)，又更符合原圖語(yǔ)義。

從軌跡精度也就是相機(jī)控制能力看，WorldForge 的 ATE 為 0.077，是最低值，RPE-T 為 0.086，RPE-R 為 0.221。對(duì)比來(lái)看，ViewCrafter 的 ATE 為 0.236，約為 WorldForge 的 3 倍，NVS-Solver 的 RPE-R 為 1.056，明顯高于 0.221，所以可以看出，相機(jī)路徑誤差被顯著壓低，整體大約達(dá)到 2 到 5 倍的改進(jìn)。

在 4D 動(dòng)態(tài)視頻生成任務(wù)中，也就是輸入視頻并重新指定軌跡的場(chǎng)景，相關(guān)數(shù)據(jù)來(lái)自 Table 2。從視頻質(zhì)量看，WorldForge 的 FVD 為 93.17，是最低值，CLIP-Vsim 為 0.938，是最高值。

對(duì)比方法中，TrajectoryCrafter 的 FVD 為 97.31，ViewExtrapolator 的 FVD 為 108.48。也就是說(shuō)，WorldForge 相比 108 降到 93，提升幅度約為 15%，說(shuō)明在動(dòng)態(tài)視頻生成中，畫(huà)面質(zhì)量和語(yǔ)義一致性仍然保持領(lǐng)先。從軌跡精度看，WorldForge 的 ATE 為 0.527，RPE-T 為 0.826，RPE-R 為 2.690，而 ViewExtrapolator 的 ATE 為 1.040，幾乎是前者的兩倍，這說(shuō)明在動(dòng)態(tài)視頻條件下，WorldForge 依然能保持比較穩(wěn)定的軌跡控制效果。

除了性能指標(biāo)，研究人員還給出了實(shí)驗(yàn)規(guī)模，這部分信息很重要。在 3D 任務(wù)中，實(shí)驗(yàn)覆蓋 40 多個(gè)場(chǎng)景、70 多張單圖輸入，使用的數(shù)據(jù)集包括 LLFF、Tanks & Temples、MipNeRF 360，同時(shí)還加入了真實(shí)圖片和 AI 生成圖片。

在 4D 任務(wù)中，實(shí)驗(yàn)覆蓋 30 多個(gè)視頻和 50 多個(gè)測(cè)試樣例，數(shù)據(jù)來(lái)源包括 DAVIS 數(shù)據(jù)集、電影片段以及 VDM 生成視頻。這樣的設(shè)置說(shuō)明，測(cè)試范圍同時(shí)覆蓋真實(shí)世界數(shù)據(jù)和合成數(shù)據(jù)，泛化能力驗(yàn)證相對(duì)充分。

研究團(tuán)隊(duì)還說(shuō)明了實(shí)驗(yàn)條件。主模型使用 Wan2.1，規(guī)模為 14B，硬件方面需要至少 69GB 顯存的 GPU。生成階段采用 50 步采樣，其中 IRR 作用在前 20 步。這組條件說(shuō)明，方法在效果上很強(qiáng)，但計(jì)算成本也比較高，對(duì)硬件資源有較高要求。

在消融實(shí)驗(yàn)部分，相關(guān)數(shù)據(jù)來(lái)自 Table 3。完整模型表現(xiàn)最好，其中 FID 為 96.08，F(xiàn)VD 為 93.17。去掉 DSG 以后，F(xiàn)ID 上升到 109.43，F(xiàn)VD 上升到 95.69，說(shuō)明畫(huà)面質(zhì)量和視頻質(zhì)量都明顯變差。

去掉 FLF 以后，F(xiàn)ID 進(jìn)一步上升到 112.69，F(xiàn)VD 上升到 99.79，結(jié)果更差。把 DSG 和 FLF 一起去掉以后，F(xiàn)ID 達(dá)到 113.12，F(xiàn)VD 達(dá)到 103.17，退化更加明顯。如果把 DSG 換成傳統(tǒng) CFG，結(jié)果最差，F(xiàn)ID 達(dá)到 120.91，F(xiàn)VD 達(dá)到 109.1。

綜合這些數(shù)字可以看到，每個(gè)模塊都會(huì)帶來(lái)大約 10% 到 20% 的性能提升，而且?guī)讉€(gè)模塊之間存在明顯的互補(bǔ)關(guān)系，少了任何一個(gè)，整體效果都會(huì)下降。

02

一套可遷移、可控制的生成流程

在實(shí)驗(yàn)經(jīng)過(guò)方面，研究團(tuán)隊(duì)首先從模型設(shè)置入手驗(yàn)證方法的通用性，一共選用了三個(gè)不同類(lèi)型的視頻生成模型進(jìn)行測(cè)試，分別是作為主實(shí)驗(yàn)基礎(chǔ)模型的 Wan2.1，其規(guī)模為 14B，作為輕量級(jí)對(duì)照模型的 SVD，以及較新的 LongCat-Video 模型。

通過(guò)在這三類(lèi)能力和結(jié)構(gòu)差異明顯的模型上分別進(jìn)行實(shí)驗(yàn)，研究人員觀察方法在不同基礎(chǔ)能力條件下的表現(xiàn)變化，結(jié)果顯示方法可以直接遷移到不同視頻模型中使用，不依賴(lài)特定模型結(jié)構(gòu)或訓(xùn)練方式，因此具有明顯的模型無(wú)關(guān)性，也就是 model-agnostic 特征。

在推理流程參數(shù)方面，研究團(tuán)隊(duì)對(duì)擴(kuò)散生成過(guò)程進(jìn)行了精細(xì)控制。整個(gè)視頻生成過(guò)程統(tǒng)一設(shè)置為 50 步采樣。在這一過(guò)程中，IRR 并不是在全部步驟中持續(xù)作用，而是集中作用在前 35% 到 45% 的階段，也就是大約前 15 到 25 步之間，在主實(shí)驗(yàn)配置中通常為前 20 步。

這一階段主要負(fù)責(zé)建立整體結(jié)構(gòu)和運(yùn)動(dòng)趨勢(shì)，因此通過(guò) IRR 在這一階段持續(xù)注入軌跡信息，可以不斷修正生成方向，使結(jié)果逐步貼近目標(biāo)相機(jī)路徑。

與此同時(shí)，F(xiàn)LF 在時(shí)間維度上也采用分階段策略，在最初的若干步中關(guān)閉 FLF，讓模型優(yōu)先利用全部通道建立整體結(jié)構(gòu)，避免過(guò)早限制信息流動(dòng)而影響全局布局，隨后在中后期逐漸啟用 FLF，對(duì)通道進(jìn)行篩選，僅對(duì)運(yùn)動(dòng)相關(guān)通道施加約束，從而在不破壞外觀細(xì)節(jié)的前提下加強(qiáng)軌跡控制。

這種安排體現(xiàn)出一種明顯的時(shí)間調(diào)度機(jī)制，也就是在不同生成階段分配不同控制強(qiáng)度，從而在結(jié)構(gòu)穩(wěn)定性與細(xì)節(jié)保真之間取得平衡。

在軌跡類(lèi)型設(shè)計(jì)方面，研究團(tuán)隊(duì)為了驗(yàn)證方法的適用范圍，構(gòu)建了多種不同形式的相機(jī)運(yùn)動(dòng)路徑進(jìn)行測(cè)試，包括圓弧軌跡，也就是 arc，用于模擬圍繞目標(biāo)的側(cè)向移動(dòng)；推進(jìn)軌跡，也就是 dolly，用于模擬鏡頭前進(jìn)或后退；旋轉(zhuǎn)軌跡，也就是 orbit，用于實(shí)現(xiàn)環(huán)繞式觀察；以及自由探索路徑，用于測(cè)試復(fù)雜、不規(guī)則的相機(jī)運(yùn)動(dòng)。

這些軌跡不僅在幾何形式上存在差異，同時(shí)在運(yùn)動(dòng)幅度、視角變化范圍以及遮擋情況上也存在顯著不同。通過(guò)在這些多樣化軌跡條件下進(jìn)行實(shí)驗(yàn)，研究人員驗(yàn)證方法不僅可以處理規(guī)則路徑，也可以應(yīng)對(duì)復(fù)雜動(dòng)態(tài)路徑，從而說(shuō)明方法具備較強(qiáng)的泛化能力，而不是只對(duì)某一類(lèi)預(yù)設(shè)運(yùn)動(dòng)模板有效。

在評(píng)價(jià)指標(biāo)選擇方面，研究團(tuán)隊(duì)結(jié)合任務(wù)特點(diǎn)進(jìn)行了專(zhuān)門(mén)設(shè)計(jì)。對(duì)于單圖生成多視角的 3D 任務(wù)，由于輸入只有一張圖像，目標(biāo)視角并不存在真實(shí)參考，也就是沒(méi)有 ground truth，因此無(wú)法使用依賴(lài)真實(shí)圖像對(duì)比的指標(biāo)，例如 PSNR 這一類(lèi)像素級(jí)誤差指標(biāo)。

在這種情況下，研究人員選擇使用 FID 來(lái)衡量生成結(jié)果在分布層面與真實(shí)圖像的接近程度，同時(shí)使用 CLIP 相似度來(lái)評(píng)估生成內(nèi)容在語(yǔ)義層面與輸入圖像的一致性。

對(duì)于 4D 動(dòng)態(tài)視頻任務(wù)，則進(jìn)一步引入 FVD 來(lái)衡量視頻整體質(zhì)量，以及 CLIP-Vsim 來(lái)評(píng)估視頻語(yǔ)義一致性。這種指標(biāo)體系體現(xiàn)出研究團(tuán)隊(duì)對(duì)問(wèn)題性質(zhì)的理解，也就是把任務(wù)視為生成問(wèn)題而不是重建問(wèn)題，因此評(píng)價(jià)重點(diǎn)放在真實(shí)感、語(yǔ)義一致性以及時(shí)間連續(xù)性，而不是像素級(jí)還原精度。

03

從結(jié)果優(yōu)化，到過(guò)程控制的一次轉(zhuǎn)向

在實(shí)驗(yàn)意義方面，這項(xiàng)研究的價(jià)值不僅體現(xiàn)在指標(biāo)提升上，更體現(xiàn)在它改變了視頻生成技術(shù)的發(fā)展方向。首先，從性能上看，研究結(jié)果不是只優(yōu)化了某一個(gè)局部環(huán)節(jié)，而是在多個(gè)核心維度上同時(shí)取得提升。

FID 下降了 20%，F(xiàn)VD 下降了 15%，軌跡誤差降低了 2 到 5 倍，這說(shuō)明研究團(tuán)隊(duì)提出的方法既能讓畫(huà)面更真實(shí)，也能讓視頻更穩(wěn)定，還能讓相機(jī)運(yùn)動(dòng)更準(zhǔn)確。

換句話說(shuō)，研究人員解決的不是單一的清晰度問(wèn)題，也不是單一的控制問(wèn)題，而是把生成質(zhì)量、運(yùn)動(dòng)一致性和空間控制能力一起往前推進(jìn)了一步，這種全面提升說(shuō)明方法已經(jīng)具備較強(qiáng)的實(shí)用潛力。

從方法意義上看，這項(xiàng)研究進(jìn)一步說(shuō)明，視頻生成未來(lái)的重要方向，很可能不是不斷重新訓(xùn)練更大的模型，而是在推理過(guò)程中進(jìn)行更精細(xì)的控制。研究人員通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，傳統(tǒng) CFG 在這一任務(wù)中會(huì)失敗，F(xiàn)ID 會(huì)高到 120 以上，而使用 DSG 以后，F(xiàn)ID 可以降到 96。

這說(shuō)明過(guò)去那種主要面向圖像生成的控制思路，放到視頻任務(wù)里并不夠用，因?yàn)橐曨l不僅要生成單幀內(nèi)容，還要保證前后幀銜接自然，人物和場(chǎng)景不能亂變，鏡頭運(yùn)動(dòng)也不能失控。也正因?yàn)槿绱耍芯繄F(tuán)隊(duì)提出的結(jié)構(gòu)感知式控制方式才顯得更有意義，它證明視頻生成不能只靠簡(jiǎn)單加條件，而是需要真正理解空間結(jié)構(gòu)和運(yùn)動(dòng)關(guān)系。

從理論意義上看，這項(xiàng)研究還有一個(gè)很重要的貢獻(xiàn)，就是進(jìn)一步證明了 latent 空間內(nèi)部并不是混在一起、無(wú)法區(qū)分的。FLF 的實(shí)驗(yàn)結(jié)果表明，不同通道確實(shí)承擔(dān)著不同功能，有些更偏向運(yùn)動(dòng)信息，有些更偏向外觀與細(xì)節(jié)信息。

從工程意義上看，這項(xiàng)研究也很誠(chéng)實(shí)地揭示了當(dāng)前技術(shù)所處的階段。方法雖然強(qiáng)，但成本也高，需要大約 70GB 顯存，還要進(jìn)行多路徑推理，所以它更像是一種高質(zhì)量離線渲染方案，而不是已經(jīng)成熟到可以實(shí)時(shí)運(yùn)行的輕量系統(tǒng)。

這一點(diǎn)其實(shí)也很有意義，因?yàn)樗嬖V人們，當(dāng)前視頻生成技術(shù)已經(jīng)能夠做出高質(zhì)量結(jié)果，但距離真正低成本、實(shí)時(shí)化、大規(guī)模普及，還有一段工程化的路要走。也就是說(shuō)，這項(xiàng)研究更像是在證明一件事可行，而不是已經(jīng)把一件事做成人人隨手可用的產(chǎn)品。

如果進(jìn)一步看這項(xiàng)研究對(duì)普通人的影響，意義會(huì)更直觀。對(duì)于普通用戶(hù)來(lái)說(shuō)，這類(lèi)技術(shù)未來(lái)最直接的變化，就是拍視頻和做視頻的門(mén)檻可能會(huì)繼續(xù)降低。以前想拍出鏡頭繞人移動(dòng)、緩慢推進(jìn)、自由換視角的效果，往往需要專(zhuān)業(yè)攝影設(shè)備、軌道、穩(wěn)定器，甚至還要后期團(tuán)隊(duì)處理。

沿著這項(xiàng)研究繼續(xù)發(fā)展，未來(lái)普通人只用一張圖或者一段普通視頻，就有可能生成更像電影鏡頭的畫(huà)面，旅游視頻、畢業(yè)紀(jì)念、短視頻創(chuàng)作、家庭影像記錄都會(huì)因此變得更容易、更豐富。

對(duì)于內(nèi)容創(chuàng)作者來(lái)說(shuō)，這種技術(shù)會(huì)進(jìn)一步改變創(chuàng)作方式。很多人沒(méi)有專(zhuān)業(yè)拍攝條件，也不會(huì)復(fù)雜建模，但依然希望讓視頻看起來(lái)更有空間感、更有鏡頭語(yǔ)言。

這項(xiàng)研究說(shuō)明，未來(lái)創(chuàng)作者可能只需要先拍一個(gè)基礎(chǔ)畫(huà)面，后續(xù)再通過(guò)生成式方法重新設(shè)計(jì)鏡頭軌跡，讓鏡頭前進(jìn)、環(huán)繞、拉遠(yuǎn)、探索場(chǎng)景，等于把部分?jǐn)z影和后期能力交給了模型。這樣一來(lái)，個(gè)人創(chuàng)作者、小型工作室，甚至普通學(xué)生，都可能獲得過(guò)去只有專(zhuān)業(yè)團(tuán)隊(duì)才能完成的視覺(jué)表達(dá)能力。

也就是說(shuō)，這項(xiàng)研究雖然現(xiàn)在還主要停留在高成本實(shí)驗(yàn)階段，但它指向的是一種更低門(mén)檻、更強(qiáng)表達(dá)力的視覺(jué)生產(chǎn)方式，而這種變化最后會(huì)落到普通人的觀看體驗(yàn)、記錄方式和創(chuàng)作能力上。

04

WorldForge 背后的科研力量

論文一作宋晨曦，目前是西湖大學(xué) AGI Lab 的博士后研究員，師從張馳教授，2024 年于吉林大學(xué)獲得工學(xué)博士學(xué)位，博士階段主要從事 3D 計(jì)算機(jī)視覺(jué)與計(jì)算機(jī)圖形學(xué)研究。

他當(dāng)前的研究重點(diǎn)集中在 3D 與 4D 場(chǎng)景建模、可控視頻生成等方向，同時(shí)也活躍于學(xué)術(shù)共同體，擔(dān)任 NeurIPS、CVPR、ECCV、AAAI、MM 和 T-CSVT 等會(huì)議與期刊的審稿人。

就學(xué)術(shù)成果來(lái)看，他已發(fā)表或參與多項(xiàng)代表性工作，包括以第一作者發(fā)表在 CVPR 2026 的 WorldForge，以及發(fā)表于 IEEE T-CSVT 的 FewarNet，此外還參與了 SwitchCraft、Free-Lunch Long Video Generation、FlowDirector、Fast3Dcache、AppAgentX 等項(xiàng)目，整體研究路徑體現(xiàn)出從多視角重建、3D 幾何建模到訓(xùn)練自由的視頻生成與世界模型構(gòu)建的持續(xù)推進(jìn)

參考鏈接：https://chenxi-song.github.io/

通訊作者張馳，西湖大學(xué)助理教授、獨(dú)立PI，同時(shí)擔(dān)任 AGI Lab負(fù)責(zé)人，在生成式人工智能和多模態(tài)智能方向開(kāi)展研究工作。在

此之前，他曾在騰訊擔(dān)任研究科學(xué)家，并于新加坡南洋理工大學(xué)獲得博士學(xué)位，師從林國(guó)盛教授，同時(shí)與沈春華等學(xué)者保持長(zhǎng)期合作關(guān)系。在學(xué)術(shù)影響力方面，他連續(xù)入選斯坦福大學(xué)發(fā)布的全球前 2% 科學(xué)家榜單，并擔(dān)任多個(gè)頂級(jí)會(huì)議和期刊的重要學(xué)術(shù)服務(wù)角色，包括 ICML、ICLR、CVPR 等會(huì)議的 Area Chair，以及 IEEE T-CSVT 的副編輯。

在學(xué)術(shù)成果與研究產(chǎn)出方面，他長(zhǎng)期深耕生成式人工智能領(lǐng)域，研究方向涵蓋擴(kuò)散模型、多模態(tài)生成建模以及智能體系統(tǒng)，近年來(lái)帶領(lǐng)團(tuán)隊(duì)在 CVPR、ICCV、ICLR、NeurIPS 等頂級(jí)會(huì)議上持續(xù)發(fā)表成果，例如 Ultra3D、FlowDirector、WorldForge、MeshAnything、Metric3D、StableLLaVA 等代表性工作。

這些研究從圖像生成、視頻生成延伸到 3D/4D 場(chǎng)景建模以及多模態(tài)智能體，形成了一條從視覺(jué)理解到世界建模的系統(tǒng)性研究路線。

從整體研究特點(diǎn)來(lái)看，張馳的工作強(qiáng)調(diào)生成模型的可控性、多模態(tài)融合能力以及向真實(shí)世界建模能力的拓展，既關(guān)注模型基礎(chǔ)理論，也注重實(shí)際系統(tǒng)構(gòu)建與應(yīng)用落地。例如在視頻生成與3D建模方向，他推動(dòng)從單純生成內(nèi)容向可控相機(jī)運(yùn)動(dòng)和空間理解發(fā)展，在智能體方向，他探索多模態(tài)大模型在真實(shí)交互環(huán)境中的應(yīng)用。

這種研究路徑體現(xiàn)出從傳統(tǒng)計(jì)算機(jī)視覺(jué)向通用人工智能過(guò)渡的趨勢(shì)，也使其工作處于當(dāng)前人工智能領(lǐng)域較為前沿的位置。

參考鏈接：https://icoz69.github.io/

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。