“Think with images”范式，即通過(guò)工具調(diào)用或代碼生成等方法來(lái)在思考過(guò)程的中間步引入輔助圖像（如裁剪、標(biāo)定、作輔助線等），已經(jīng)成為增強(qiáng)多模態(tài)大語(yǔ)言模型（MLLMs）視覺(jué)推理能力的重要范式。這類方案雖然取得了不錯(cuò)的效果，但其對(duì)外部工具的依賴性也導(dǎo)致了幾個(gè)局限性：

• 訓(xùn)練和推理復(fù)雜度高：訓(xùn)練時(shí)模型需要額外地學(xué)習(xí)各種工具和函數(shù)接口的使用方式，引入了額外的訓(xùn)練難度；同時(shí)，多輪的交互式推理增加了推理延遲。
• 操作類型受限：模型的能力受限于工具類型，難以泛化到簡(jiǎn)單工具無(wú)法應(yīng)對(duì)的復(fù)雜任務(wù)上。
• 難以擴(kuò)展為通用能力：每增加一類工具，就要重新標(biāo)注數(shù)據(jù)、設(shè)計(jì)接口，模型更像“工具調(diào)度中心”，而不是在真正“理解和想象”。

Monet實(shí)現(xiàn)了一種訓(xùn)練MLLM直接在連續(xù)的隱空間思考的 Think with image 方法，不再依賴外部工具或代碼，而是通過(guò)生成連續(xù)的“隱式視覺(jué)嵌入”（latent visual embeddings），像人一樣在腦海中“打草稿、畫(huà)草圖、做空間想象”，再給出答案，從而將視覺(jué)思考能力真正內(nèi)化。團(tuán)隊(duì)核心成員包括北京大學(xué)博士生王啟迅、史陽(yáng)以及來(lái)自Amazon AGI SF Lab的王一飛。指導(dǎo)老師包括來(lái)自快手可靈團(tuán)隊(duì)的張遠(yuǎn)行和北京大學(xué)的英向華、王奕森。該工作已被 CVPR 2026 錄用。

• 論文標(biāo)題：Monet: Reasoning in Latent Visual Space Beyond Images and Language
• 論文鏈接：https://arxiv.org/abs/2511.21395
• 代碼鏈接：https://github.com/NOVAglow646/Monet
• 模型鏈接：https://huggingface.co/NOVAglow646/Monet-7B
• 數(shù)據(jù)集鏈接：https://huggingface.co/datasets/NOVAglow646/Monet-SFT-125K

訓(xùn)練多模態(tài)模型進(jìn)行隱式視覺(jué)推理的挑戰(zhàn)

多模態(tài)模型的隱式推理的訓(xùn)練存在兩大難點(diǎn)：

一、隱式嵌入（latent embedding）的監(jiān)督信號(hào)難以獲取。一種直觀的思路是直接對(duì)齊模型生成的隱式嵌入（即模型最后一層的表示）和中間步輔助圖像的表示，來(lái)讓隱式嵌入編碼輔助圖像信息（如近期的幾項(xiàng)工作[1-2]）。然而，輔助圖像的token數(shù)量往往成百上千，直接對(duì)齊會(huì)引入高昂的計(jì)算和存儲(chǔ)開(kāi)銷，因此現(xiàn)有工作選擇壓縮圖像token為10個(gè)左右，或只取關(guān)鍵區(qū)域的少數(shù)token進(jìn)行對(duì)齊。這進(jìn)一步導(dǎo)致了細(xì)粒度視覺(jué)信息丟失、只能編碼裁剪區(qū)域的視覺(jué)信息而無(wú)法編碼全圖操作的信息。

二、隱式嵌入難以被真正優(yōu)化。監(jiān)督微調(diào)（SFT）過(guò)程中，常規(guī)的“預(yù)測(cè)下一個(gè)詞”（next-token-prediction）的目標(biāo)很容易通過(guò)“記住”訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)，從而繞過(guò)對(duì)隱式嵌入的優(yōu)化；此外，強(qiáng)化學(xué)習(xí)（RL）過(guò)程中，常規(guī)的GRPO只能在文本token上計(jì)算損失，導(dǎo)致了獎(jiǎng)勵(lì)信號(hào)難以直接施加到隱式嵌入上。

方法概覽：

監(jiān)督微調(diào) + 強(qiáng)化學(xué)習(xí)激發(fā)隱式視覺(jué)推理能力

為了讓模型學(xué)會(huì)在隱空間進(jìn)行視覺(jué)思考，作者提出了一個(gè)監(jiān)督微調(diào)（SFT）+強(qiáng)化學(xué)習(xí)（RL）的訓(xùn)練框架，以Qwen2.5-VL-7B為基模型進(jìn)行訓(xùn)練。訓(xùn)練后的模型Monet-7B能在推理過(guò)程中自主決定何時(shí)啟動(dòng)隱式思考，并生成一個(gè)特殊標(biāo)記（如“

”），此后輸出的若干向量，不再對(duì)應(yīng)可讀文字，而是被視作一段隱式的視覺(jué)嵌入插入思維鏈中。當(dāng)隱式嵌入達(dá)到預(yù)設(shè)的長(zhǎng)度后，將回到語(yǔ)言推理模式。上述過(guò)程可在一次推理中交替進(jìn)行。

圖1左圖：Monet的推理過(guò)程示意。右圖：Monet的三階段SFT和RL（VLPO為作者提出的全新強(qiáng)化學(xué)習(xí)算法）過(guò)程示意。

SFT數(shù)據(jù)集構(gòu)建：Monet-SFT-125K

雖然目前已有不少公開(kāi)的圖文交錯(cuò)的思維鏈數(shù)據(jù)集[3-6]，但它們存在如下的局限性：

1.某些輔助圖像缺乏必要性：問(wèn)題簡(jiǎn)單，不用輔助圖像就能做對(duì)；

2.某些輔助圖像不準(zhǔn)確：比如裁剪區(qū)域與答案無(wú)關(guān)；

3.缺少對(duì)于真正有價(jià)值的token的標(biāo)注：比如與答案最相關(guān)的少數(shù)關(guān)鍵token等。

為了解決上述缺陷，作者提出了一個(gè)多階段的數(shù)據(jù)集校正流程。如下圖所示，從現(xiàn)有的圖文交錯(cuò)CoT第一階段選出在只給出問(wèn)題和輸入圖像時(shí)Qwen2.5-VL-7B回答錯(cuò)誤的樣本以保證使用輔助圖像的必要性；

第二階段在第一輪得到的樣本中，篩選出僅給出問(wèn)題和輔助圖像（沒(méi)有問(wèn)題圖像）時(shí)較強(qiáng)模型（Qwen2.5-VL-72B）能回答對(duì)的樣本，以確保輔助圖像的準(zhǔn)確性；

第三階段，使用了閉源模型將對(duì)應(yīng)于輔助圖像中的關(guān)鍵視覺(jué)信息的文本token標(biāo)注出來(lái)，以作為后續(xù)訓(xùn)練的監(jiān)督信號(hào)。

最終得到的Monet-SFT-125K包含多種類型的視覺(jué)操作（裁剪、標(biāo)定、做輔助線、生成新的視覺(jué)狀態(tài)）和任務(wù)（以真實(shí)世界、圖表、OCR任務(wù)為主）。

圖2Monet-SFT-125K數(shù)據(jù)集的構(gòu)建流程

監(jiān)督微調(diào)：

讓模型自主將輔助圖像中的有價(jià)值信息編碼進(jìn)隱式嵌入

SFT分成三個(gè)階段。

SFT第一階段：預(yù)熱。先在構(gòu)建的Monet-SFT-125K上進(jìn)行預(yù)熱（warm-up）微調(diào)，這一步是為了讓模型適應(yīng)圖文交錯(cuò)的推理模式。若沒(méi)有這一過(guò)程，模型將容易忽略思維鏈中間的輔助圖像，如圖3所示。該步獲取的模型權(quán)重將用于后續(xù)階段。

圖3 預(yù)熱微調(diào)過(guò)程中模型對(duì)于訓(xùn)練數(shù)據(jù)中對(duì)應(yīng)于關(guān)鍵觀察的token的預(yù)測(cè)準(zhǔn)確性。藍(lán)色：給出輔助圖像。灰色虛線：移除輔助圖像。綠色：二者準(zhǔn)確率差值。隨著預(yù)熱的進(jìn)行，使用輔助圖像相比不使用時(shí)準(zhǔn)確率的提升越來(lái)越大，說(shuō)明模型逐步學(xué)會(huì)利用中間步圖像。

SFT第二階段：獲取高質(zhì)量的隱式嵌入。這一階段是為了獲取產(chǎn)生高質(zhì)量的隱式嵌入來(lái)作為第三階段的對(duì)齊目標(biāo)。為了避免直接對(duì)齊隱式嵌入和輔助圖像嵌入所帶來(lái)的高額開(kāi)銷，作者提出了使用兩種監(jiān)督信號(hào)來(lái)指導(dǎo)隱式嵌入的生成。首先，為了使隱式嵌入能發(fā)揮與輔助圖像相似的效果，作者提出對(duì)齊給定輔助圖像和給定隱式嵌入時(shí)后續(xù)關(guān)鍵token的模型中間層表示（分別對(duì)應(yīng)于圖4中的“Teacher CoT”和“Student CoT”），即，采用如下的對(duì)齊損失：

另外，為了使對(duì)齊損失確確實(shí)實(shí)是通過(guò)調(diào)整隱式嵌入而不是被“走捷徑”優(yōu)化的，作者提出讓對(duì)齊損失的梯度僅能通過(guò)隱式嵌入流向模型參數(shù)。實(shí)現(xiàn)細(xì)節(jié)可見(jiàn)原文。

圖4 SFT第二階段示意。包含對(duì)齊損失和next-token-prediction損失兩部分。其中Teacher CoT為包含輔助圖像的圖文交錯(cuò)CoT；Student CoT中輔助圖像后為生成的隱式嵌入，且輔助圖像能且僅能被隱式嵌入可見(jiàn)。

SFT第三階段：讓模型學(xué)會(huì)“從零開(kāi)始”隱式思考。由于上一階段隱式嵌入的產(chǎn)生是在隱式嵌入直接可見(jiàn)輔助圖像的情況下的，這與實(shí)際應(yīng)用時(shí)存在差異。

為此，在第三階段中，作者將第二階段訓(xùn)練后模型產(chǎn)生的高質(zhì)量隱式嵌入作為目標(biāo)，讓模型在不可見(jiàn)輔助圖像情況時(shí)產(chǎn)生的隱式嵌入與之對(duì)齊，如圖5所示。

同時(shí)這一階段仍包含next-token-prediction損失，以讓隱式嵌入幫助后續(xù)推理。

圖5 SFT第三階段示意。這一階段的目標(biāo)為對(duì)齊無(wú)輔助圖像時(shí)產(chǎn)生的隱式嵌入和來(lái)自第二階段的高質(zhì)量目標(biāo)隱式嵌入。VLPO：專為隱式思考設(shè)計(jì)的強(qiáng)化學(xué)習(xí)

為此，作者提出了VLPO（Visual-latent policy optimization），通過(guò)估計(jì)隱式嵌入的生成概率來(lái)將其納入損失函數(shù)的計(jì)算之中。

Monet帶來(lái)了分布內(nèi)和分布外視覺(jué)推理能力的提升

圖6 分布內(nèi)的感知和推理任務(wù)上的性能（真實(shí)世界、圖表、OCR任務(wù)）

圖7 分布外視覺(jué)推理任務(wù)上的性能（抽象視覺(jué)推理任務(wù)）

主要結(jié)果：作者在分布內(nèi)任務(wù)（真實(shí)世界、圖表、OCR）和分布外任務(wù)（抽象視覺(jué)推理）上測(cè)試了Monet-7B。

結(jié)果如圖6和圖7所示，Monet超過(guò)了SFT、SFT+GRPO以及現(xiàn)有的think with images和隱式視覺(jué)推理的基線。相比基模型，在分布內(nèi)和分布外任務(wù)分別取得了3%~9.75%和2.31%的提升。

圖8 消融實(shí)驗(yàn)。“Latent-only” BP為SFT階段二中讓對(duì)齊損失的梯度僅流向隱式嵌入的設(shè)計(jì)；“auxiliary img”為SFT階段二中在student COT中引入輔助圖像的操作。

消融實(shí)驗(yàn)：作者通過(guò)全面的消融實(shí)驗(yàn)驗(yàn)證了SFT階段各組件的必要性，以及提出的VLPO在SFT模型（Monet-SFT）基礎(chǔ)上帶來(lái)的進(jìn)一步提升。

值得注意的是，在Monet-SFT基礎(chǔ)上進(jìn)一步進(jìn)行GRPO并不能帶來(lái)穩(wěn)定的提升，印證了GRPO的局限性。

探究隱式嵌入數(shù)量對(duì)性能的影響

圖9 橫軸：測(cè)試時(shí)隱式嵌入數(shù)量。縱軸：測(cè)試準(zhǔn)確率。三條綠色線為Monet-SFT模型，訓(xùn)練時(shí)隱式嵌入數(shù)量分別為8、10、12；藍(lán)色為SFT（K=8）+VLPO（K=10）；粉色為SFT（K=8）+GRPO.

作者探究了不同的訓(xùn)練時(shí)和測(cè)試時(shí)隱式嵌入數(shù)量K對(duì)性能的影響。核心觀察總結(jié)如下：

• 對(duì)于分布內(nèi)任務(wù)，使用隱式思考確實(shí)相比純文本思考能帶來(lái)提升；對(duì)于分布外任務(wù)，只有經(jīng)過(guò)VLPO訓(xùn)練的模型的隱式思考能相比純文本帶來(lái)額外提升。
• 對(duì)于分布內(nèi)任務(wù)，Monet-SFT模型展現(xiàn)出了測(cè)試時(shí)的縮放定律（test-time scaling law）：測(cè)試時(shí)隨著隱式嵌入數(shù)量（甚至遠(yuǎn)超訓(xùn)練時(shí)所見(jiàn)到的長(zhǎng)度）增加性能上升；對(duì)于分布外任務(wù)，只有VLPO展現(xiàn)出了這一趨勢(shì)；
• GRPO主要提升非隱式思考的性能（測(cè)試時(shí)latent size=0），而對(duì)于隱式思考（測(cè)試時(shí)latent size>0）提升不明顯。

更多細(xì)節(jié)請(qǐng)參考原文。

參考文獻(xiàn)：

[1] Zeyuan Yang, Xueyang Yu, Delin Chen, Maohao Shen, and Chuang Gan. Machine mental imagery: Empower multimodal reasoning with latent visual tokens. arXiv preprint arXiv:2506.17218, 2025.

[2] Bangzheng Li, Ximeng Sun, Jiang Liu, Ze Wang, Jialian Wu, Xiaodong Yu, Hao Chen, Emad Barsoum, Muhao Chen, and Zicheng Liu. Latent visual reasoning. arXiv preprint arXiv:2509.24251, 2025.

[3] Hao Shao, Shengju Qian, Han Xiao, Guanglu Song, Zhuofan Zong, Letian Wang, Yu Liu, and Hongsheng Li. Visual cot: Unleashing chain-of-thought reasoning in multi-modal language models. CoRR, 2024

[4] Ang Li, Charles Wang, Kaiyu Yue, Zikui Cai, Ollie Liu, Deqing Fu, Peng Guo, Wang Bill Zhu, Vatsal Sharan, Robin Jia, et al. Zebra-cot: A dataset for interleaved vision language reasoning. arXiv preprint arXiv:2507.16746, 2025.

[5] Xingyu Fu, Minqian Liu, Zhengyuan Yang, John Corring, Yijuan Lu, Jianwei Yang, Dan Roth, Dinei Florencio, and Cha Zhang. Refocus: Visual editing as a chain of thought for structured image understanding. In ICML, 2025

[6] Ji Qi, Ming Ding, Weihan Wang, Yushi Bai, Qingsong Lv, Wenyi Hong, Bin Xu, Lei Hou, Juanzi Li, Yuxiao Dong, et al. Cogcom: A visual language model with chain-ofmanipulations reasoning. In ICLR, 2025.