Doc-V*：讀100頁文檔不如只翻對5頁，80頁場景「暴打」RAG 10個點

本項目主要貢獻者包括鄭元雷（華中科技大學 VLRLab）、付培（小米大模型 Plus），通訊作者為羅振波（小米大模型 Plus）、陳偉（華中科技大學 VLRLab）

在多頁文檔理解任務中，一個被廣泛接受但很少被質疑的假設是：要理解一篇長文檔，模型就應該盡可能多地「看」。

但如果換個角度想：人類閱讀一份幾十頁的報告時，真的會逐頁從頭看到尾嗎？顯然不會。我們會先翻目錄、掃標題，找到可能相關的部分，然后才精讀。真正值得追問的問題是：為什么現有的文檔理解模型，不能也這樣做？

這正是 Doc-V* 想要回答的問題。

Doc-V* 由小米大模型 Plus 團隊和華中科技大學 VLRLab 團隊合作提出，一種從「靜態閱讀」到「主動探索」的多頁文檔理解新范式，通過交互式視覺推理讓模型像人一樣有策略地閱讀長文檔。

從結果上看，這條思路確實帶來了實際收益：在統一使用 Qwen2.5-VL 7B 作為 backbone 的設定下，Doc-V* 相比 RAG 變體在多個多頁文檔問答基準上取得了 49.7% 的提升，且不依賴更大的模型或更長的上下文窗口。

這說明，與其給模型塞更多頁面，不如讓模型學會「在合適的時機獲取合適的頁面」。

• 論文鏈接：https://arxiv.org/abs/2604.13731v1

重新審視「看全部頁面」：靜態輸入范式的根本矛盾

現有方法在處理長文檔時，面臨一個根深蒂固的矛盾。

一類方法嘗試將所有頁面一次性輸入模型，以保證信息完整，但隨著文檔長度增加，計算成本迅速上升，同時模型容易受到「中間信息遺忘」等問題影響。

另一類方法則依賴檢索策略，僅選擇部分頁面作為輸入，雖然在效率上有所改善，但其性能高度依賴檢索結果 —— 一旦關鍵頁面未被召回，后續推理便難以修正。

從根本上看，這兩類方法都采用了一種「靜態輸入」范式：在推理開始前就固定輸入內容，而缺乏在推理過程中動態調整信息獲取策略的能力。

這種方式與人類處理長文檔的習慣存在明顯差異，也限制了模型在復雜多跳推理場景中的表現。

Doc-V* 的方法設計：從「靜態閱讀」到「主動探索」

Doc-V* 的核心思路可以用一句話概括：不要一次性把所有內容塞給模型，而是讓模型自己決定看什么、什么時候看。

第一步是構建 Global Thumbnail Overview。在輸入階段，Doc-V* 并不會直接處理所有高分辨率頁面，而是首先將每一頁壓縮為低分辨率縮略圖，并按照網格形式排列。這使模型能夠在較低成本下觀察文檔的整體結構，例如章節分布、圖表位置以及高層語義區域。

這種設計的關鍵在于，它并不試圖提供精細內容，而是提供一種結構性導航信號，幫助模型在后續步驟中更有針對性地選擇頁面。

圖 1：Pipeline 示意，初始輸入為 Question+Document Thumbnail。模型先獲得文檔的全局縮略圖視角，再有針對性調用工具對文檔作深入的探索。

第二步是兩種交互式操作。在獲得初步結構信息后，模型可以通過兩類操作與文檔進行交互：

• ：全局語義檢索（粗粒度探索）

• ：精確頁面獲取（細粒度證據定位 ?）

基于結構線索的直接定位：從 thumbnail 中看到某幾頁包含表格 / 圖表 / 標題，直接跳轉這些頁面進行精細分析；

② 鄰接信息補全：表格跨頁、圖文分離、上下文延續，自動獲取「前一頁 / 后一頁」補全語義；

③ 顯式頁碼問題的精確響應：如：「第 3 頁的表格中有多少個方法」？

這兩種操作在功能上形成互補：前者用于覆蓋潛在的相關區域，從全局范圍內召回可能有用的頁面；后者則更偏向于精細化定位，例如圍繞某一已知頁面獲取其上下相鄰頁，或依據問題描述以及縮略圖中的結構線索，直接定位到具體的證據頁面。

圖 2：Doc-V * 的數據構造以及訓練方式

第三步是 SFT+GRPO 兩階段訓練策略。在訓練階段，Doc-V* 采用了 SFT+GRPO 兩階段策略，使模型學會何時調用哪種操作、如何基于已有證據進行判斷。

實驗結果

實驗結果首先驗證了 Doc-V* 在標準多頁文檔問答任務上的有效性。

從主表結果可以看出，在統一 backbone（Qwen2.5-VL 7B）設置下，Doc-V* 相比基礎模型以及其 RAG 變體均取得了穩定提升。RAG Top-5 相比原始模型在各數據集上已有一定增益，說明基于檢索的頁面篩選確實能夠在一定程度上緩解長文檔中的噪聲問題。

然而，這種提升仍然受限于「靜態檢索」范式 —— 模型只能基于一次性召回的頁面完成推理，一旦關鍵證據未被包含在 Top-K 中，后續過程缺乏糾錯能力。

圖 3：Doc-V * 在各個文檔問答 Benchmark 上的結果對比。*

這說明，動態的證據獲取機制確實能夠彌補靜態檢索的固有缺陷，讓模型在推理過程中持續修正自身判斷。

進一步分析不同方法在「輸入頁面數量 — 性能」之間的關系，可以觀察到一個值得關注的現象：對于基于 RAG 的方法，隨著輸入頁面數量的增加，性能通常呈現出「先提升、后下降」的趨勢。

初始階段，增加頁面數量能夠提高召回率，使模型更有可能接觸到正確證據，因此性能有所提升；但當輸入頁面繼續增加時，大量無關或弱相關信息被引入，反而會干擾模型的注意力分配，使有效信號被稀釋，最終導致性能下降。

圖 4：不同方法在「輸入頁面數量 — 性能」關系上的對比。RAG 方法存在明顯的性能拐點，隨著 K 的增加，性能先升后降，并趨于輸入所有頁面的性能，而 Doc-V * 則不受 K 的影響。

這一現象在多個數據集（如 SlideVQA、LongDocURL、MMLongBench-Doc）上均有體現，說明其并非特定任務或模型的個例，而是檢索式方法在長上下文場景中的普遍特征。

換言之，RAG 方法在「信息覆蓋」與「信息干擾」之間存在一個敏感的平衡點，其性能高度依賴于 Top-K 的選擇。

相比之下，Doc-V* 并未表現出類似的明顯退化趨勢。這主要是因為其輸入并非一次性確定，而是在推理過程中逐步擴展：模型只在需要時引入新的頁面，并結合已有證據進行判斷，從而避免了無關信息的過度積累。

圖 5：不同方法在 MMLongBench-Doc 數據集上的不同文檔長度的表現對比。

除此之外，本文還對不同方法在不同文檔長度上的表現進行了分析。隨著文檔整體長度增加，無論是 RAG 還是 All Pages 方法，其性能均呈現出整體下降趨勢。

這進一步說明，面對越來越長的文檔，「給更多內容」并不能解決問題，真正需要的是一種更智能的信息獲取策略。

「信息獲取 ≠ 信息堆疊」，當無關信息占據上下文時，模型反而更容易被「視覺上顯眼但無關」的頁面誤導，忽略真正關鍵的證據頁。

圖 6：不同方法具體推理過程。

真正需要的是「策略驅動的信息獲取」，Doc-V* 在其中做了一件關鍵的事情 —— 不是盲目讀取內容，而是「先判斷去哪里看」。

具體表現為一個非常接近人類的過程：先看縮略圖（判斷哪些頁面「看起來可能有用」）→ 直接跳轉到最可能包含答案的頁面 → 基于最小但最相關的信息完成答案。

這背后其實是一個核心的轉變：從「被動接收信息」→「主動決策信息獲取路徑」，從全局搜索 → 局部確認 → 逐步逼近答案，這正是人類閱讀長文檔時的真實行為。

從更大的視角看：文檔理解的下一步

整體來看，Doc-V* 提供了一種不同于傳統方法的視角：將多頁文檔理解問題從「靜態建模」轉化為「動態證據獲取與整合」的過程。

通過引入縮略圖導航、交互式操作以及工作記憶機制，模型能夠在推理過程中不斷修正自身判斷，從而更有效地處理長文檔中的復雜信息關系。

這種方法并不依賴于更大的模型或更長的上下文，而是通過更合理的信息使用方式，提高推理效率與結果可靠性。

對文檔理解來說，真正重要的，也許從來不是「一次性看完所有內容」，而是能不能像人一樣，在閱讀過程中不斷調整策略、主動尋找證據、逐步逼近答案。