現(xiàn)有的開源多模態(tài)搜索智能體普遍受困于「裁剪 - 再搜索」的串行處理模式，面對(duì)多目標(biāo)時(shí)往往陷入交互冗長(zhǎng)、錯(cuò)誤級(jí)聯(lián)累積的泥沼。

為此，小紅書研究團(tuán)隊(duì)提出了一款全新架構(gòu)的模型：HyperEyes。通過統(tǒng)一定位與搜索的動(dòng)作空間、構(gòu)建并行可學(xué)習(xí)數(shù)據(jù)以及雙粒度效率感知強(qiáng)化學(xué)習(xí)的全棧設(shè)計(jì)，HyperEyes 成功實(shí)現(xiàn)了從「搜得更深」到「搜得更寬」的并行多模態(tài)搜索范式躍遷。

• 論文地址：https://arxiv.org/abs/2605.07177
• 代碼地址：https://github.com/DeepExperience/HyperEyes

背景：多模態(tài)搜索智能體的「串行困局」

當(dāng)前主流的 Agent 在面對(duì)包含多個(gè)實(shí)體的復(fù)雜圖片時(shí)，往往只能采用笨拙的「N 輪串行調(diào)用」策略。

這種傳統(tǒng)的處理路徑帶來了三重難以逾越的困境：首先是極大的交互冗余，原本一句話的多實(shí)體查詢被迫退化為多次單實(shí)體搜索，導(dǎo)致延遲劇增；其次是錯(cuò)誤放大的多米諾骨牌效應(yīng)，前置定位一旦發(fā)生偏差，后續(xù)的搜索結(jié)果將被全部污染；最后是模型訓(xùn)練中普遍存在的獎(jiǎng)勵(lì)偏差與「信用分配」問題。

現(xiàn)有模型往往僅以「最終答案對(duì)錯(cuò)」作為唯一獎(jiǎng)勵(lì)標(biāo)準(zhǔn)，這不僅會(huì)導(dǎo)致智能體為了追求表面準(zhǔn)確率而養(yǎng)成「暴力多搜」的壞習(xí)慣，引入更多噪聲；更致命的是，這種粗粒度的稀疏獎(jiǎng)勵(lì)會(huì)帶來粗暴的「連坐懲罰」—— 在那些最終失敗的探索軌跡中，原本正確、富有邏輯的中間推理和工具調(diào)用也被一并全盤否定，導(dǎo)致模型根本無法從失敗中有效汲取局部經(jīng)驗(yàn)。

方法：從動(dòng)作空間、數(shù)據(jù)到 RL 的「全棧式」效率重塑

為了讓智能體真正具備「一次出手，多目標(biāo)并發(fā)」的內(nèi)生能力，HyperEyes 研究團(tuán)隊(duì)在動(dòng)作空間、數(shù)據(jù)合成與強(qiáng)化學(xué)習(xí)三個(gè)維度上進(jìn)行了徹底的底層重構(gòu)。

傳統(tǒng)的智能體通常將「視覺裁剪」和「網(wǎng)絡(luò)搜索」作為兩個(gè)獨(dú)立的步驟，而HyperEyes 打破了這一隔離，提出了「統(tǒng)一定位即搜索」（UGS）的動(dòng)作空間重構(gòu)方案。它將視覺定位框直接作為檢索動(dòng)作的內(nèi)嵌參數(shù)，使得一次函數(shù)調(diào)用就能并發(fā)攜帶多個(gè)目標(biāo)框。這一設(shè)計(jì)從物理層面徹底打通了單輪交互內(nèi)多目標(biāo)并發(fā)的通路。

然而，空有架構(gòu)還不夠，開源社區(qū)長(zhǎng)期缺乏「并行搜索」的訓(xùn)練語料。為此，研究團(tuán)隊(duì)設(shè)計(jì)了一套精密的合成流水線。他們首先將多類圖片拼接，合成出必須同時(shí)進(jìn)行定位與檢索才能解答的視覺查詢；接著基于圖譜隨機(jī)游走，構(gòu)造出多約束的交集問題并嚴(yán)格剔除捷徑解；最后，通過漸進(jìn)式拒絕采樣（PRS）技術(shù)，在嚴(yán)格的遞增輪次預(yù)算下，提純出 3 萬條「零冗余」的并行行為種子數(shù)據(jù)，完美解決了模型 SFT 冷啟動(dòng)的難題。

在最核心的強(qiáng)化學(xué)習(xí)（RL）對(duì)齊階段，HyperEyes 徹底顛覆了傳統(tǒng) RL 的「唯結(jié)果論」范式。傳統(tǒng)的稀疏獎(jiǎng)勵(lì)往往會(huì)引發(fā)雙重隱患：缺乏效率約束的獎(jiǎng)勵(lì)機(jī)制會(huì)縱容模型養(yǎng)成「冗余試錯(cuò)」的惰性，以犧牲推理速度為代價(jià)換取準(zhǔn)確率；更糟糕的是，在處理長(zhǎng)周期任務(wù)時(shí)，粗暴的結(jié)果導(dǎo)向會(huì)帶來極其不公平的「連坐懲罰」—— 即便是一次堪稱完美的中間推理過程，也會(huì)因?yàn)樽罱K環(huán)節(jié)的失誤被徹底抹殺，導(dǎo)致模型在復(fù)雜探索中迷失方向。

針對(duì)這一問題，團(tuán)隊(duì)創(chuàng)新性地提出了「宏觀 + 微觀」的雙粒度效率感知強(qiáng)化學(xué)習(xí)框架。在宏觀軌跡層面，系統(tǒng)引入了 TRACE（動(dòng)態(tài)參考的成本效率獎(jiǎng)勵(lì)）機(jī)制。這并不是一個(gè)一刀切的步數(shù)死命令，而是一把「自我超越」的動(dòng)態(tài)標(biāo)尺。系統(tǒng)會(huì)將模型當(dāng)前的工具調(diào)用表現(xiàn)與標(biāo)尺對(duì)比，只有比標(biāo)尺更高效才能獲得獎(jiǎng)勵(lì)。在每個(gè) Epoch 結(jié)束后，系統(tǒng)會(huì)自動(dòng)用本輪表現(xiàn)最好、步數(shù)最少的軌跡去刷新并收緊標(biāo)尺。這就像跳高比賽，橫桿隨著模型能力的提升越調(diào)越高，逼迫模型不斷擠出水分。

而在微觀 Token 層面，為了精準(zhǔn)搶救失敗軌跡中的「正確中間過程」，HyperEyes 引入了 OPD（策略內(nèi)蒸餾）機(jī)制。這一機(jī)制只在軌跡最終答錯(cuò)時(shí)才會(huì)啟動(dòng)，屆時(shí)會(huì)引入一個(gè) 235B 的滿血版教師模型，為失敗軌跡中的每一步提供稠密的 Token 級(jí)監(jiān)督信號(hào)，精準(zhǔn)打撈那些原本正確的中間規(guī)劃。

這種「僅在失敗時(shí)蒸餾」的非對(duì)稱設(shè)計(jì)，完美避免了對(duì)學(xué)生模型「高效并發(fā)」本能的覆蓋。成功時(shí)由宏觀獎(jiǎng)勵(lì)主導(dǎo)效率，失敗時(shí)由微觀蒸餾托底糾偏，宏微觀的嚴(yán)絲合縫，徹底釋放了多模態(tài)大模型的并發(fā)檢索天性。

IMEB Benchmark：把「搜索效率」作為重要評(píng)估維度

現(xiàn)有多模態(tài)榜單普遍存在「只看準(zhǔn)不看快」的弊端。為了糾正這一導(dǎo)向，團(tuán)隊(duì)發(fā)布了首個(gè)包含 300 條極具挑戰(zhàn)性多實(shí)體視覺評(píng)測(cè)基準(zhǔn)的 IMEB (Image Multi-Entity Benchmark)。

與之配套，團(tuán)隊(duì)還提出了「成本感知評(píng)分」 (CAS)。該評(píng)分標(biāo)準(zhǔn)在統(tǒng)一標(biāo)尺下，將準(zhǔn)確率、Token 消耗和工具調(diào)用輪次進(jìn)行聯(lián)合評(píng)估，把傳統(tǒng)的答案質(zhì)量換算為「單位延遲下的有效信息密度」，從根本上遏制了大模型靠堆砌算力暴力刷榜的行為。

實(shí)驗(yàn)結(jié)果與核心發(fā)現(xiàn)

在隨后的 6 大主流基準(zhǔn)測(cè)試中，HyperEyes 展現(xiàn)出了極具統(tǒng)治力的表現(xiàn)，實(shí)現(xiàn)了準(zhǔn)確率與效率的 Pareto 占優(yōu)。全面建立開源 SOTA 并非虛言 ——HyperEyes-30B 以64.0%的準(zhǔn)確率超越同量級(jí)最強(qiáng)開源模型 VDR 達(dá)9.9%，而其平均工具調(diào)用輪次僅為 VDR 的不到五分之一（2.2 對(duì)比 11.6）。而其 235B 版本更是以僅1.1%的微弱差距逼近閉源旗艦 Gemini-3.1-Pro。

在極為嚴(yán)苛的 CAS 成本效率評(píng)分中，30B 版本的表現(xiàn)達(dá)到了次優(yōu)開源模型的7.6倍，證明其每一單位算力輸出的信息密度都極高。消融實(shí)驗(yàn)也證實(shí)了，這種底層的動(dòng)作空間重構(gòu)設(shè)計(jì)，對(duì)傳統(tǒng)的「LLM 外掛裁剪」或「代碼沙箱裁剪」構(gòu)成了降維打擊。

更有意思的是其面對(duì)噪聲的強(qiáng)魯棒性。在真假證據(jù)混合的干擾測(cè)試中，HyperEyes 這種「敢于少搜、一次看全」的并行策略，反而大幅規(guī)避了過度檢索帶來的幻覺陷阱。

在一個(gè)面對(duì) 6 人同框復(fù)雜問答的真實(shí)測(cè)試案例中，傳統(tǒng) Agent 因?yàn)椤钢鹨徊眉?+ 搜索」的笨拙邏輯將流程拖拽至 12 輪，最終因噪聲累積而答錯(cuò)；而 HyperEyes 首輪即并發(fā)定位并檢索了全部 6 人，僅用 3 輪便給出精準(zhǔn)答案，直觀地展現(xiàn)了什么叫「一次出手，看清全局」。

結(jié)語：多模態(tài)搜索智能體的下一站，是「效率即智能」

長(zhǎng)期以來，大家普遍認(rèn)為多模態(tài)搜索必須通過串行加深來保證準(zhǔn)確度，而 HyperEyes 打破了這一固有慣性。它用翔實(shí)的實(shí)驗(yàn)證明了，在 Agent 訓(xùn)練中，「準(zhǔn)確率」與「效率」完全可以協(xié)同進(jìn)化。

隨著多模態(tài) Agent 逐漸步入電商比價(jià)、視覺檢索、實(shí)時(shí)交互等真實(shí)的高并發(fā)業(yè)務(wù)場(chǎng)景，從「搜得更深」轉(zhuǎn)向「搜得更寬」，必將成為下一代智能體角逐的核心競(jìng)爭(zhēng)力。