新智元報道

【新智元導(dǎo)讀】VLA 大模型看似強(qiáng)大，卻被一個致命弱點扼住喉嚨——相機(jī)稍微挪動幾毫米，操作成功率就能暴跌一半。招商局先進(jìn)技術(shù)研究院下屬實驗室提出新的移動數(shù)據(jù)范式，首次在真實機(jī)器人系統(tǒng)上證明：讓相機(jī)動起來采集數(shù)據(jù)，就能以極低成本破解 VLA 的空間泛化瓶頸，且效果普適于多種主流架構(gòu)。

近年來，VLA 模型已成為機(jī)器人操作領(lǐng)域最火熱的研究方向。

無論是英偉達(dá)的 Gr00t 系列、Physical Intelligence 的 π 系列等模型都展現(xiàn)出了流暢準(zhǔn)確的動作乃至復(fù)雜操作能力。

但有一個讓所有從業(yè)者頭疼的問題：這些模型極其「脆弱」。

當(dāng)你把訓(xùn)練好的機(jī)器人從實驗室 A 搬到實驗室 B，甚至只是不小心碰了一下相機(jī)——畫面里桌子的相對位置變了幾個像素——模型的表現(xiàn)就可能瞬間崩潰。

這不是個別現(xiàn)象。

國內(nèi)外多個團(tuán)隊的研究（斯坦福-谷歌聯(lián)合研究項目 Genralization-Gap、同濟(jì)-復(fù)旦等機(jī)構(gòu)聯(lián)合研究項目 LIBERO-Plus 等）已經(jīng)得出一致結(jié)論：VLA 模型在標(biāo)準(zhǔn)評測中動輒 90%+ 的成功率，在相機(jī)視角輕微變化后可能直接跌落到 30% 以下。

為什么？

招商局先進(jìn)技術(shù)研究院下屬獅子山人工智能實驗室研究團(tuán)隊（以下簡稱「研究團(tuán)隊」）在新論文中給出了精準(zhǔn)診斷與解決方案：問題的根源是捷徑學(xué)習(xí)（Shortcut Learning），而解決方案是混合動態(tài)數(shù)據(jù)采集策略（Hybrid Dynamic Data Collection）。

該論文已被 IROS 2026 接收。

論文地址：arxiv.org/abs/2607.02322

項目地址：306327680.github.io/LionRockMultiViewPaperWeb

三重「隱性耦合」：

VLA 不是在學(xué)空間關(guān)系，而是在背相對位置

研究團(tuán)隊識別出 VLA 模型普遍存在的三種捷徑學(xué)習(xí)模式，這些模式本質(zhì)上都是不同物體（Object）之間的相對位姿關(guān)系：

耦合一：相機(jī)-基座耦合（Camera-Base Coupling）

模型并沒有真正學(xué)會「桌面上筆在哪里」，而是記住了例如「P 筆在畫面右下角 1/4 處」的某些固定規(guī)律。

一旦相機(jī)位置變了，畫面中的相對坐標(biāo)全變了，模型立刻「失憶」。

這是所有從業(yè)者遇到的最普遍的問題：只要相機(jī)視角與訓(xùn)練數(shù)據(jù)集中的視角不同，任務(wù)成功率可以直接暴跌一半（從 85% 降低至 43%）。

耦合二：相機(jī)-物體耦合（Camera-Object Coupling）

模型依賴特定角度來識別物體。從不同角度看到的同一個物體，對模型來說可能是「兩個完全不同的東西」。

耦合三：物體-位置耦合（Object-Position Coupling）

這是最隱蔽的一種——即使你用了多視角數(shù)據(jù)，如果筆和筆筒的相對位置始終固定，比如總是筆筒在筆的正右方 10cm，模型就會學(xué)到「往右邊 10cm 的地方放」這個捷徑，而非真正理解「放進(jìn)筆筒」的語義。

以第三種耦合為例，研究團(tuán)隊設(shè)計了如下實驗：針對「抓起筆放入筆筒」VLA 任務(wù)，在數(shù)據(jù)采集時故意保持筆筒在桌面上的位置固定不變。

訓(xùn)練后測試發(fā)現(xiàn)，當(dāng)筆筒處于該固定位置時，執(zhí)行任務(wù)成功率 95%；

僅將筆筒平移一個直徑的距離，成功率就從 95% 暴跌到 72%。

這說明模型根本沒有真正理解「把筆插進(jìn)筆筒」，只是重復(fù)執(zhí)行「往那個固定坐標(biāo)移動」的操作。

這是VLA 的致命軟肋：你以為它「看懂了」，其實它只是「記住了」。

「運(yùn)動之眼」

一個以移動視角數(shù)據(jù)為核心的新數(shù)據(jù)范式

既然問題出在數(shù)據(jù)中的虛假相關(guān)性上，那就從數(shù)據(jù)入手——讓相機(jī)獲得各種視角的 VLA 數(shù)據(jù)，在不斷的嘗試與總結(jié)中，研究團(tuán)隊提出了層次化數(shù)據(jù)解耦策略（Hierarchical Data Decoupling），將數(shù)據(jù)采集分為三種相機(jī)配置：固定視角（Fixed View）、多固定視角（Multi-Fixed）與移動視角（Moving View）。

三種視角特征對比

為什么移動視角有效？

研究團(tuán)隊認(rèn)為，移動視角相對于多固定視角的核心優(yōu)勢在于它在同等數(shù)據(jù)量下提供了更稠密、近似均勻的多視角采樣。

當(dāng)相機(jī)沿連續(xù)軌跡運(yùn)動時，移動視角通過提供連續(xù)的視角變化，徹底打碎了三種耦合關(guān)系。

當(dāng)相機(jī)在每一集數(shù)據(jù)中都沿著不同軌跡運(yùn)動時，畫面中的背景、物體觀察角度、相對位置在幀與幀之間持續(xù)變化——模型再也無法依賴任何固定的視覺規(guī)律來「作弊」，只能老老實實學(xué)習(xí)真正的空間幾何關(guān)系。

三種數(shù)據(jù)采集視角范圍示意圖

研究團(tuán)隊在真實機(jī)器人平臺上實現(xiàn)了這一范式。

系統(tǒng)由兩條機(jī)械臂協(xié)同工作：So-101 操作臂負(fù)責(zé)執(zhí)行抓取任務(wù)并配備腕部相機(jī)采集操作視角，求之（Airbot）機(jī)械臂則搭載環(huán)境相機(jī)，在進(jìn)行移動數(shù)據(jù)采集時充當(dāng) 6 自由度「運(yùn)動之眼」，以 0.05m/s 線速度沿軌跡連續(xù)運(yùn)動（平均視角角速度 0.198 rad/s），從不斷變化的角度觀察操作過程。

所有數(shù)據(jù)以 30FPS 連續(xù) MP4 視頻格式錄制，通過開源 LeRobot 數(shù)據(jù)采集管線完成采集。

雙臂系統(tǒng)與六自由度多離散固定視角示意圖

混合動態(tài)數(shù)據(jù)采集策略：

結(jié)合利用多種數(shù)據(jù)優(yōu)勢特點

研究團(tuán)隊經(jīng)初步實驗發(fā)現(xiàn)，如果單獨(dú)使用移動視角數(shù)據(jù)會帶來新的問題：

視覺輸入方差過大，策略難以收斂（Gr00t 模型純移動視角數(shù)據(jù)成功率僅 54.8%）；

另一方面純多固定視角數(shù)據(jù)收斂性好（成功率 80.5%），而且也能提供一定的數(shù)據(jù)多樣性。

于是最終解決方案是將多固定視角數(shù)據(jù)與移動視角數(shù)據(jù)按比例 1:k 混合，形成互補(bǔ)：

通過系統(tǒng)搜索，團(tuán)隊發(fā)現(xiàn)了在 Gr00t 模型上的最優(yōu)配比（k = 3）取得了 89.0% 的最佳表現(xiàn)。

不同模型的最優(yōu)比例有所差異，但是大多是以多固定視角數(shù)據(jù)為主，結(jié)合部分移動視角數(shù)據(jù)組成混合數(shù)據(jù)集。

混合視角數(shù)據(jù)主要解決相機(jī)位姿相關(guān)的耦合問題，針對其他耦合，研究團(tuán)隊還同時在數(shù)據(jù)采集中系統(tǒng)性地注入多維度多樣性，確保任何兩個物體的相對位姿無固定關(guān)系，從根本上消除了模型可以利用的虛假相關(guān)性。

「運(yùn)動之眼」混合動態(tài)數(shù)據(jù)采集策略的

跨架構(gòu)與跨任務(wù)普適性

研究團(tuán)隊將混合數(shù)據(jù)方案應(yīng)用于 ACT、Diffusion Policy、π0 等主流 VLA 模型，發(fā)現(xiàn)所有架構(gòu)都受益——各類模型綜合性能最高提升 26.8%。

這證明空間泛化脆弱性和捷徑學(xué)習(xí)是 VLA 的普遍特征，不是某個模型的個別缺陷，而混合數(shù)據(jù)方案是通用解法。

更令人興奮的是，這項實驗揭示了一種全新的能力組合方式：空間感知能力可以跨任務(wù)「借用」！

想象這樣一個場景：你希望機(jī)器人能從任意角度抓取桌上的多個物體，但為每個物體都采集多視角數(shù)據(jù)成本太高。

本文的方法給出了一個巧妙的解法——只需要為一個「代表任務(wù)」（抓放筆）采集多視角混合數(shù)據(jù)，就能把這種空間感知能力「移植」到其他任務(wù)上。

具體而言，團(tuán)隊將常規(guī)的固定視角多物體抓取數(shù)據(jù)與等量的多視角采集的抓放筆數(shù)據(jù)混合訓(xùn)練，實驗結(jié)果令人驚喜：僅用固定視角數(shù)據(jù)的基線模型成功率只有 43%，而注入等量多視角筆任務(wù)數(shù)據(jù)后，成功率直接躍升至 83%——相當(dāng)于用一半的數(shù)據(jù)就達(dá)到了原本需要全量采集才能達(dá)到的效果。

這個發(fā)現(xiàn)意味著：模型從筆任務(wù)中學(xué)到的「如何理解不同視角下的空間關(guān)系」，被泛化到了從未見過的多物體抓取場景中。空間感知能力不再綁定于某個具體任務(wù)，而是成為一種可遷移的通用「視覺素養(yǎng)」。

多模型、復(fù)雜視角、多任務(wù)完成案例

總結(jié)與應(yīng)用展望

「運(yùn)動之眼」混合數(shù)據(jù)采集范式的核心貢獻(xiàn)，可以歸納為三點：

一、問題診斷。

研究團(tuán)隊首次系統(tǒng)性地揭示了 VLA 模型普遍存在的三重隱性耦合。

正是這些被忽視的虛假相關(guān)性，導(dǎo)致了模型在新環(huán)境下的災(zāi)難性退化。

二、優(yōu)雅解法。

只需讓一臺環(huán)境相機(jī)運(yùn)動起來，配合最優(yōu)比例的數(shù)據(jù)混合策略，就能在不修改任何模型結(jié)構(gòu)的前提下，大幅提升空間泛化能力。

這一方法已在 ACT、Diffusion Policy、Pi0、Gr00t 等主流架構(gòu)上得到驗證，證明了其普適性。

三、能力遷移。

空間感知能力不是某個任務(wù)的專屬屬性，而是一種可以從簡單任務(wù)「借用」到復(fù)雜任務(wù)的通用視覺素養(yǎng)。這為實際部署中降低數(shù)據(jù)采集成本開辟了一條全新路徑。

當(dāng)前工作聚焦于桌面級操作任務(wù)，但這一范式的想象空間遠(yuǎn)不止于此：

在家庭服務(wù)場景中，未來的家政機(jī)器人需要在不同家庭、不同光照、不同家具布局下完成抓取和整理。「運(yùn)動之眼」范式讓機(jī)器人無需在每個家庭重新采集數(shù)據(jù)，就能具備對新環(huán)境的適應(yīng)能力。

在工業(yè)精密裝配中，產(chǎn)線上的相機(jī)位置不可能每次都完美校準(zhǔn)。混合數(shù)據(jù)采集策略可以讓裝配機(jī)器人容忍相機(jī)安裝的微小偏差，降低部署精度要求。

在智能倉儲分揀中，貨物形態(tài)千變?nèi)f化，傳統(tǒng)方法需要為每種物品單獨(dú)采集海量數(shù)據(jù)。借助跨任務(wù)遷移能力，只需為少量代表物品采集多視角數(shù)據(jù)，就能將空間感知能力快速遷移到新品類上。

隨著主動視角規(guī)劃、自動化數(shù)據(jù)標(biāo)注與模型訓(xùn)練管線的深度融合，「運(yùn)動之眼」有望從實驗室走向真實世界，為產(chǎn)業(yè)應(yīng)用級 VLA 數(shù)據(jù)采集提供新范式——讓機(jī)器人真正擺脫固定視角的束縛，實現(xiàn)類人化的三維空間感知，加速通用機(jī)器人走進(jìn)現(xiàn)實世界。

招商局先進(jìn)技術(shù)研究院下屬獅子山人工智能實驗室：

讓機(jī)器人真正適配現(xiàn)實

事實上，此次 IROS 2026 頂會論文收錄，并非今年獅子山人工智能實驗室的首次重磅突破。

今年 6 月初，實驗室就在 ICRA 2026 官方 LeHome Challenge 機(jī)器人柔性衣物折疊賽事中斬獲全球冠軍，在全球頂尖高校與企業(yè)實驗室的激烈角逐中脫穎而出。

IROS 與 ICRA 并稱全球機(jī)器人領(lǐng)域兩大旗艦頂會，短期內(nèi)接連在兩大會議拿出重磅成果，充分印證了該團(tuán)隊在具身智能領(lǐng)域的頂尖研發(fā)實力。

作為 VLA 視覺泛化與感知魯棒性領(lǐng)域的原創(chuàng)技術(shù)突破，「運(yùn)動之眼」范式與該團(tuán)隊此前奪冠的柔性操作技術(shù)將形成能力互補(bǔ)，構(gòu)建起更完善的機(jī)器人操作技術(shù)體系。

該成果可廣泛適配家庭柔性物品整理、工業(yè)精密裝配、微小零件插接、智能倉儲分揀等多元實景場景，適配真實環(huán)境動態(tài)、未知、多變的作業(yè)特性。

未來，隨著主動視角采集、自動化數(shù)據(jù)標(biāo)注與模型訓(xùn)練技術(shù)的深度融合，智能機(jī)器人將擺脫固定視角的技術(shù)束縛，真正實現(xiàn)類人化的三維空間感知與環(huán)境自適應(yīng)能力，在家庭服務(wù)、工業(yè)智造等實景場景中完成更穩(wěn)定、更可靠的自主操作，加速通用機(jī)器人產(chǎn)業(yè)化落地進(jìn)程，讓機(jī)器人真正「適配」現(xiàn)實，走進(jìn)大眾生活。

關(guān)于 IROS 2026

IROS 全稱 IEEE/RSJ 國際智能機(jī)器人與系統(tǒng)會議，由 IEEE 機(jī)器人與自動化學(xué)會（RAS）與日本機(jī)器人學(xué)會（RSJ）聯(lián)合創(chuàng)辦，自 1988 年舉辦至今，已經(jīng)成為國際公認(rèn)的智能機(jī)器人、具身智能、視覺操作等方向最高學(xué)術(shù)平臺。

會議采用嚴(yán)苛的雙盲評審機(jī)制，不僅要求成果具備原創(chuàng)理論創(chuàng)新，更需通過真機(jī)實物驗證，僅有同時滿足完整系統(tǒng)設(shè)計、海量真實機(jī)器人實驗、可復(fù)現(xiàn)量化指標(biāo)的研究才能被收錄，入選門檻極高。

盡管每年都能收到來各國頂尖團(tuán)隊的數(shù)千篇投稿，但數(shù)據(jù)顯示，IROS 近年整體錄用率約 45%。

2026 年投稿量創(chuàng)下歷史新高，但最終錄用率僅 36%，為近 15 年最低，競爭激烈程度堪稱歷年之最。

參考資料：獅子山人工智能實驗室在全球具身智能大賽中拔得頭籌