打破碎片化瓶頸！浙大&哈佛開源UniGeo，高保真相機可控編輯

新智元報道

編輯：LRST

【新智元導讀】UniGeo通過視頻模型的連續視角先驗與統一幾何引導，實現穩定、高質量的相機可控圖像生成，全面超越現有方法，在不同幅度的相機運動中提升跨視角一致性與結構穩定性。

當前主流的相機可控圖像編輯主要基于圖像擴散模型，通過處理離散視角映射，在場景生成和新視角合成領域取得了顯著成功。

然而，圖像模型天生的離散屬性使其在應對連續相機運動時，極易出現幾何漂移和結構退化。現有方法引入的幾何引導也往往是碎片化的（如僅在表示層注入點云），這導致即使引入視頻模型來克服圖像模型的缺點，提供連續視角先驗，模型也依然難以形成穩定的全局幾何理解，無法徹底消除結構退化現象。

近日，浙大聯合哈佛發布了全新的基于視頻模型的統一幾何引導相機可控編輯框架UniGeo。該框架系統性地打破了碎片化瓶頸，創新性地在決定生成輸出的三個核心層面（表示層、架構層、損失函數層）全面注入了統一的幾何引導。結合視頻模型的連續先驗與全局統一的幾何引導，UniGeo 有效克服了結構退化問題，顯著提升了在不同幅度的相機運動下的視覺質量與跨視角幾何一致性。

模型代碼網址：https://github.com/mo230761/UniGeo

英文技術報告網址：https://arxiv.org/pdf/2604.17565

Project Page網址：https://mo230761.github.io/UniGeo.github.io/

HF Space網址：https://huggingface.co/spaces/123123aa123/UniGeo

現有主流的相機可控圖像編輯（Camera-controllable image editing）主要依托于圖像擴散模型。其基本范式是：通過處理離散的二維視角映射，并輔以局部層面的幾何信息（如僅在表示層注入點云），來合成不同相機姿態下的新場景。這一技術路徑在二維視角的轉換上取得了顯著進展。

然而，這類方法在應對真實的連續相機運動時，面臨著跨視角幾何不一致和結構退化等嚴峻問題。真實物理世界中的相機運動在三維空間內是平滑且連續的，但受限于圖像模型天生的「離散屬性」，以及僅停留在單一層面的「碎片化」幾何引導，現有模型內部難以形成全局協同的三維幾何對應關系，導致生成過程常常發生幾何漂移。

鑒此，研究團隊認為，要實現高保真的相機可控圖像生成，必須摒棄以往「離散生成+碎片化幾何引導」的局限思路。視頻模型天然具備連續視角建模的先驗能力，這為攻克上述難題提供了絕佳基座。

但僅引入視頻先驗并不充分，研究團隊在此基礎上提出了一條系統性重構的新路徑：即系統地將「統一幾何引導」貫穿于生成模型的全鏈路，確保模型從特征輸入到特征交互、再到最終優化的每一個環節，都遵循嚴格的三維幾何引導。

在該思路的指引下，研究團隊探索了連續視頻先驗與全局幾何引導的深度融合，提出了全新的相機可控圖像編輯框架UniGeo。該框架系統地重構了決定生成輸出的三大核心基石：在表示層實現幀解耦的幾何參考注入，在架構層引入對齊多視角的幾何錨點注意力，并在損失函數層強化軌跡端點的幾何監督。

UniGeo 成功打通了視頻模型與三維幾何理解之間的壁壘，在不同幅度的相機運動下均實現了跨視角一致性的突破，或將為影視后期制作、具身智能感知等依賴高可靠渲染的前沿領域提供堅實的基礎模型積累。

核心技術

給定輸入圖像與相機控制指令，UniGeo 的目標是在嚴格保持三維幾何結構的前提下合成新視角。為此，模型從表示層、架構層和損失函數層系統性地注入了統一幾何引導（圖1）。

圖1. UniGeo框架概覽

在表示層，為避免直接輸入相機參數帶來的映射模糊，模型構建了幀解耦點云注入機制。該機制首先提取首幀點云并沿目標相機軌跡渲染，生成顯式的 3D 幾何先驗序列。隨后，區別于傳統的通道拼接，模型將該渲染序列作為獨立的幾何上下文，與目標視頻特征在幀維度（Frame-dim）進行拼接。這一解耦設計避免了強硬的像素級對齊，使幾何先驗能夠與視頻特征在網絡中靈活交互并提升容錯率。

在架構層，為維持連續生成中的跨視角結構一致性，模型引入了幾何錨點注意力。該機制將序列首幀顯式指定為「幾何錨點」，后續所有幀均通過新增的少量可學習投影矩陣（Query 與 Output），持續與首幀的 Key 和 Value 進行注意力交互。這一設計在不破壞預訓練視頻生成先驗的前提下，以極低的計算開銷在微觀特征層面實現了全局的結構對齊。

在損失函數層，為強化目標最終視角的結構保真度，模型提出了軌跡端點幾何監督策略。在稀疏時間采樣的基礎上，模型將各時間步的損失權重設計為隨時間中心距離遞增的二次函數，從而增加對軌跡兩端（特別是目標端點）的幾何懲罰力度。進一步結合在序列末尾復制擴展目標幀的聯合建模策略，模型以持續的幾何引導嚴格鎖定了最終視角的 3D 結構表達。

性能亮點

UniGeo 在跨視角幾何一致性與高保真生成質量上實現了全面領跑。在 DL3DV、RE10K 以及 Tanks 等多個權威數據集上，面對大幅度（Extensive）和小幅度（Limited）相機運動的雙重測試，UniGeo 全面超越了 CameraCtrl、MotionCtrl、ViewCrafter、FlexWorld 以及 PE-Field 等現有主流方法，在所有關鍵量化評估指標上均取得了最佳（SOTA）成績。

在視覺生成效果層面，UniGeo 直擊現有方法在物理結構上的痛點。定性對比結果顯示，現有模型在相機運動（尤其是大范圍視角轉移）下，往往難以維持場景的底層幾何結構，極易產生結構重疊、幾何關系扭曲以及局部內容割裂等嚴重偽影。相比之下，UniGeo 憑借全局統一的幾何引導，在跨視角轉換中展現出了極高的結構穩定性，生成了極為自然、連貫的新視角畫面（圖2）。

圖2. 定性對比結果

進一步的中間連續軌跡可視化徹底展現了 UniGeo 的過程優勢。模型能夠極其平滑且精準地模擬由相機運動驅動的連續幾何變換，在整個視角的中間推演過程中保持了高度的結構連貫性。這種平滑的過渡完美契合了真實的物理相機運動規律，從而在全鏈路上保證了最終渲染新視角時的絕對精準與極高畫質（圖3）。

圖3. 中間軌跡可視化

總結

本次發布的相機可控圖像編輯框架 UniGeo 深度探索了視頻擴散模型的連續性先驗與三維幾何約束之間的內在聯系，系統性地在表示層、架構層和損失函數層貫穿了統一的幾何引導，通過全鏈路的三維對齊克服了傳統碎片化幾何注入帶來的結構退化局限，在確保場景結構完整性的同時，建立了極其可靠的跨視角對應關系。

這種具備高度一致性的連續視角建模能力，在面對各類復雜且大范圍的相機運動時，不僅全面超越了現有方法的幾何可靠性與視覺質量，也為影視后期制作、具身智能感知等高度依賴嚴格空間連貫性的視覺生成任務，提供了原則性且高效的解決方案。

未來，該團隊將進一步探索連續視頻先驗與真實世界三維空間物理結構之間的深度耦合機制，構建二維視頻生成與三維空間智能之間的橋梁，期望通過整合統一的幾何引導理念來突破現有離散圖像生成模型的局限，進而實現高結構保真、支持復雜場景自由漫游的下一代可控視覺生成模型，為未來的三維視覺生成生態提供重要啟發。

參考資料：

https://arxiv.org/pdf/2604.17565