前饋式3D的終極路線圖來了！一文看清未來三維重建該往哪走

從單幅圖像恢復三維結構，到多視圖場景建模、動態 4D 重建，再到機器人、自動駕駛、SLAM 與視頻生成，如何讓模型在不依賴逐場景優化的前提下，直接、高效地理解并重建三維世界，正在成為 3D 視覺領域的重要方向。

與傳統 SfM、MVS、NeRF、3D Gaussian Splatting 等方法不同，前饋式 3D 場景建模（Feed-Forward 3D Scene Modeling）通過一次前向推理，直接從輸入圖像預測三維場景表示，從而顯著降低測試階段的優化成本，并具備更強的跨場景泛化能力與實際部署潛力。論文摘要和引言都強調，這一范式正快速發展，并逐漸成為連接效率、泛化和系統落地能力的重要路線。

近日，來自浙江大學、南洋理工大學、Monash University、ETH Zurich、圖賓根大學等機構的研究者聯合發布綜述論文，系統梳理了前饋式 3D 場景建模的研究進展，并提出了一種區別于以往工作的全新組織方式：不再主要按 NeRF、3DGS、Pointmap 等表示形式劃分方法，而是從模型試圖解決的核心問題出發，構建 problem-driven 的統一分析框架。

• 論文標題：Feed-Forward 3D Scene Modeling: A Problem-Driven Perspective
• 論文地址: https://arxiv.org/abs/2604.14025
• 項目地址：https://ff3d-survey.github.io/
• Github 論文整理：https://github.com/ziplab/Awesome-Feed-Forward-3D

圖 1：本文綜述整體框架。從 3D 表示、五大研究方向，到數據集、應用場景與未來趨勢，系統展示了前饋式 3D 場景建模的整體脈絡。

為什么這篇綜述值得關注？

前饋式 3D 方向發展很快，但長期以來，很多工作仍然主要按照 3D 表示形式來分類，例如 NeRF 一類、3DGS 一類、Pointmap 一類。論文指出，這種方式雖然直觀，卻往往掩蓋了真正推動方法演進的關鍵因素。因為在現實中，使用同一種表示的方法，可能在解決完全不同的問題；而針對同一挑戰的不同方法，也可能采用截然不同的表示。

基于這一觀察，作者提出：與其圍繞「輸出是什么」來組織文獻，不如圍繞「方法到底在解決什么問題」來重新理解這一領域。論文摘要中明確提出，現有前饋式方法雖然輸出表示多樣，但在高層架構設計上共享大量共性，例如圖像特征提取、多視圖信息融合、幾何感知設計等，因此更有解釋力的組織方式，應當是圍繞模型設計策略和核心挑戰進行歸納。

也正因此，這篇綜述最突出的貢獻，不只是「總結得全」，而是給出了一個新的觀察框架。它把前饋式 3D 場景建�？偨Y為五個核心研究方向：特征增強、幾何感知、模型效率、增強策略、時序感知模型。這一 problem-driven taxonomy 構成了全文的方法主線。

圖 2：前饋式 3D 重建方法的 problem-driven 分類框架。作者將現有方法歸納為特征增強、幾何感知、模型效率、增強策略和時序感知五大方向。

從「表示分類」走向「問題驅動」：

五大研究方向重新組織前饋式 3D

1. 特征增強：先把 2D 特征學好，才能更穩地 lift 到 3D

論文指出，前饋式 3D 系統中，隱式特征圖質量直接決定后續 3D 解碼效果。因此，大量工作首先圍繞feature enhancement展開，包括 backbone 架構演進、跨視圖特征融合，以及視覺基礎模型的引入。換句話說，很多方法的關鍵改進，并不在輸出層，而在「輸入圖像特征如何被建模、對齊并增強」這一層。

從論文的整理可以看到，這條路線已經從早期 CNN-based 條件建模，逐步發展到 Transformer、Mamba、ViT 等更強的編碼架構，同時不斷加強 cross-view fusion 和 foundation model priors 的引入。作者還專門總結了近期前饋式 3D 模型常見的 encoder taxonomy，覆蓋 ResNet、ViT、U-Net、Mamba 以及 DINO、CLIP、CroCo、diffusion 等預訓練先驗。

圖 3：近期前饋式 3D 模型常見編碼器與預訓練先驗的演化脈絡。包括 ViT、ResNet、Mamba 等骨干網絡，以及 DINO、CLIP、CroCo、diffusion 等基礎模型先驗。

2. 幾何感知：前饋式 3D 的核心不只是看圖，更是「懂幾何」

如果說特征增強解決的是「看得更清楚」，那 geometry awareness 解決的就是「想得更對」。論文認為，僅依賴 2D 圖像特征容易帶來幾何歧義，因此需要通過顯式幾何聚合、后處理細化、無位姿重建、預訓練幾何引導等策略，把更強的幾何推理能力注入模型。

這部分的一個重要價值在于，它把 cost volume、epipolar constraints、surface-aware modeling、pose-free reconstruction 等看似分散的方法路線，統一放進了一個更高層的框架里。這樣讀者能更清楚地看到，這些方法雖然形式不同，但本質上都在回答同一個問題：前饋式 3D 模型如何在一次推理中恢復更可靠的場景幾何。

圖 4：幾何感知方向的主要改進路徑。包括顯式幾何聚合、后處理細化、無位姿重建和預訓練幾何引導等幾類代表性路線。

3. 模型效率：前饋式 3D 要真正落地，必須同時解決速度和內存問題

除了「準不準」，前饋式 3D 的另一個核心問題是「能不能真正用起來」。論文因此把model efficiency單獨作為一條主線，并分成兩類：一類關注feature efficiency，即如何更高效地進行多視圖特征聚合；另一類關注representation compaction，即如何壓縮顯式 3D 表示，尤其是 Gaussian 的數量和存儲開銷。

這也反映出前饋式 3D 當前發展的現實目標：它不只是要在 benchmark 上提高指標，還要推動方法走向實時應用、資源受限場景和長序列重建。論文專門給出了不同代表性方法在顯存占用、Gaussian 數量和推理時間上的對比，清楚展示了這一方向在效率層面的權衡關系。

圖 5：不同前饋式新視角合成方法在效率上的對比。從顯存占用、Gaussian 數量和推理時間三個維度，展示不同方法在工程部署上的權衡。

4. 增強策略：不只擴訓練數據，也借助生成模型補足視覺先驗

論文中的augmentation strategies不是狹義的數據增強，而是被分成了兩條互補路線：一條是data augmentation，通過合成場景、偽標注、多視圖生成等方式擴充訓練分布；另一條是visual augmentation，借助 diffusion 等生成模型增強渲染結果、去除偽影并補全缺失細節。這一點非常重要，因為它說明前饋式 3D 已不再只是一個純幾何建模問題，而是在逐漸和生成式建模融合。未來更強的前饋式 3D 系統，很可能既要恢復可靠幾何，也要通過大規模視覺先驗提升完整性與逼真度。

圖 6：數據增強與視覺增強兩類 augmentation 策略的區別。前者擴充訓練分布，后者借助生成模型增強渲染結果，共同提升模型的泛化性與視覺質量。

5. 時序感知模型：從靜態 3D 走向動態 4D 和持續世界建模

前饋式 3D 的最后一條關鍵方向，是 temporal-aware models。論文指出，這類方法通過建�？鐜瑤缀闻c運動一致性，進一步把前饋式 3D 擴展到動態場景和低延遲 4D 建模。作者將其分為在線流式、離線處理、交互式建模以及面向特定任務的時序方法。

這部分也清楚表明，前饋式 3D 正在從「單個靜態場景的快速重建」逐漸走向「持續建模世界」的能力形態。這對機器人、自動駕駛、動態場景理解以及空間智能系統都非常關鍵。

圖 7：時序感知前饋式 3D 模型的主要范式。涵蓋在線流式建模、離線時序處理、交互式建模以及面向特定任務的時序方法。

不只方法整理，這篇綜述還

重新梳理了 benchmark 和應用全景

很多綜述在數據集和 benchmark 部分往往只是羅列，而這篇文章進一步從評測目標出發，將數據集劃分為 geometry-oriented 和 visual-oriented 兩類。前者更強調點云、深度、位姿等幾何質量，后者則更關注新視角合成中的視覺真實感。論文明確提到，這樣的劃分有助于更清晰地理解不同 benchmark 對方法發展的牽引作用。

與此同時，文章還系統總結了前饋式 3D 在自動駕駛、機器人、場景理解、SfM/SLAM、視頻生成和視覺定位等方向上的應用。作者認為，這一范式已經從研究概念逐步走向實際技術能力組件，正在持續降低 3D 建模在真實系統中的使用門檻。

表 1：前饋式 3D 重建代表性數據集匯總。本文按照主要用途將現有數據集劃分為幾何導向、視覺導向和混合類型，并進一步統計其數據規模、來源類型、場景類別以及代表性的訓練與測試方法，用于展示當前前饋式 3D 場景建模的數據基礎與評測生態。

未來趨勢：前饋式 3D 會走向哪里？

在最后的討論中，論文將未來方向總結為 benchmark rigor、model efficiency、scalable scene representations、world models、unified perception and reconstruction 等幾條主線。尤其值得注意的是，作者把world models納入前饋式 3D 的未來圖景中，這意味著前饋式 3D 不再只是「更快的三維重建」，而可能成為未來空間智能和世界建模系統中的基礎模塊。

總結

這篇綜述最大的價值，不只是系統總結了前饋式 3D 場景建模的發展，更在于它提出了一個更具解釋力的視角：相比按表示形式分類，圍繞特征、幾何、效率、增強和時序這些核心問題來理解方法演進，更能揭示這一領域真正的研究脈絡。

從這個意義上說，這篇工作不僅為新進入這一方向的研究者提供了一張清晰的路線圖，也為整個社區重新理解前饋式 3D 提供了一個更統一的分析框架。它讓我們看到，前饋式 3D 的核心，不只是「輸出什么三維表示」，而是「如何更穩、更準、更快地建立對三維世界的理解」。

作者介紹

本文由浙江大學、南洋理工大學、Monash 大學、蘇黎世聯邦理工學院（ETH Zurich）及圖賓根大學等機構聯合完成。作者包括：Weijie Wang（浙江大學博士生）、Qihang Cao（共同一作）、Sensen Gao（共同一作），Donny Y. Chen（Project Lead），Haofei Xu、Wenjing Bian、Songyou Peng、Tat-Jen Cham、Chuanxia Zheng、Andreas Geiger（圖賓根大學教授）、Jianfei Cai（Monash 大學教授，IEEE Fellow），及通訊作者 Jiawang Bian 與 Bohan Zhuang。