機(jī)器之心發(fā)布

具身智能現(xiàn)在面臨的問(wèn)題，和自動(dòng)駕駛幾年前的困境非常相似。

過(guò)去幾年，自動(dòng)駕駛行業(yè)已經(jīng)證明了一件事：誰(shuí)先把真實(shí)物理世界組織進(jìn)統(tǒng)一的數(shù)字空間，誰(shuí)就先拿到規(guī)?；娜雸?chǎng)券

但當(dāng)年，這件事并不是一開始就想明白的。

早期的純視覺(jué)多相機(jī)方案，每個(gè)相機(jī)自己感知自己的，前攝看前面、側(cè)攝看側(cè)面，各出各的檢測(cè)結(jié)果，再拼到一起交給規(guī)劃系統(tǒng)。問(wèn)題是，拼出來(lái)的東西在圖像坐標(biāo)里，不在物理世界里。視角一變、光線一變、場(chǎng)景一變，性能就掉。數(shù)據(jù)堆得越多，各自為政的混亂局面就越嚴(yán)重。

BEV，Bird's-Eye View，就是那把鑰匙。它真正改變行業(yè)的地方，不是給了工程師一張“鳥瞰圖”，而是把多相機(jī)、多傳感器、多任務(wù)輸出，統(tǒng)一壓進(jìn)了一個(gè)可被規(guī)劃系統(tǒng)直接消費(fèi)的物理坐標(biāo)系。自動(dòng)駕駛因此完成了一次關(guān)鍵躍遷：從在圖像里猜世界，到在物理空間里理解世界。

今天，具身智能正站在同一個(gè)路口。機(jī)器人數(shù)據(jù)來(lái)自不同相機(jī)、不同本體、不同坐標(biāo)系、不同操作者。沒(méi)有統(tǒng)一空間，數(shù)據(jù)堆得越多，就越混亂——不是規(guī)?；?，是熵暴。

跨維智能提出的Dexterity-BEV，正是要在具身智能里重做一次這樣的重構(gòu)：把視覺(jué)輸入、機(jī)器人狀態(tài)和目標(biāo)動(dòng)作，對(duì)齊到同一個(gè)參考系里，讓機(jī)器人數(shù)據(jù)第一次真正具備可規(guī)?；?xùn)練的空間底座。這可以被看作是一次把 BEV 方法論系統(tǒng)性推進(jìn)到具身智能數(shù)據(jù)基建層的嘗試。

• 論文標(biāo)題：Dexterity-BEV: Aligning 3D World and Actions for Generalizable Robot Policies Learning
• 論文地址：https://arxiv.org/abs/2606.02274
• 項(xiàng)目鏈接：https://hnuzhy.github.io/projects/Dex-BEV/

無(wú)秩序的Scale，只會(huì)演變?yōu)殪乇?/strong>

今天的具身智能行業(yè)非常熱鬧。

機(jī)器人本體不斷推陳出新，新的數(shù)據(jù)集接連發(fā)布，新的遙操作系統(tǒng)、人類第一視角數(shù)據(jù)、仿真與生成數(shù)據(jù)也在快速增長(zhǎng)。顯然，行業(yè)正在進(jìn)入一個(gè)數(shù)據(jù)快速擴(kuò)張的階段。

文本可以被統(tǒng)一組織成 token，圖像也有相對(duì)穩(wěn)定的數(shù)據(jù)范式，但機(jī)器人數(shù)據(jù)和文本、圖像不同。機(jī)器人數(shù)據(jù)天然異構(gòu)，以機(jī)器人一條操作數(shù)據(jù)舉例，可能同時(shí)包含多視角圖像、深度、相機(jī)參數(shù)、關(guān)節(jié)狀態(tài)、末端軌跡、語(yǔ)言指令、任務(wù)成敗和真實(shí)反饋等多種維度的信息。更何況各機(jī)器人本體規(guī)格不一，數(shù)據(jù)集坐標(biāo)系互不統(tǒng)一，相機(jī)采集視角存在差異，操作人員動(dòng)作節(jié)奏也各不相同；更為復(fù)雜的是，UMI、Egocentric等全新數(shù)據(jù)采集范式還在持續(xù)涌入。人類的身高、臂展、視角和動(dòng)作習(xí)慣，本質(zhì)上也像一種新的“異構(gòu)本體”，進(jìn)一步放大了數(shù)據(jù)之間的差異。

所以，具身智能面臨的并不是單一的“數(shù)據(jù)量問(wèn)題”，而是一個(gè)更棘手的雙重難題：一方面，高質(zhì)量真實(shí)交互數(shù)據(jù)仍然稀缺且昂貴；另一方面，已經(jīng)采集到的數(shù)據(jù)又高度異構(gòu)，難以互通、難以統(tǒng)一訓(xùn)練、難以跨機(jī)遷移

這正是具身智能正在面對(duì)的現(xiàn)實(shí)：行業(yè)既需要更多數(shù)據(jù)，也需要一種把數(shù)據(jù)變成可訓(xùn)練、可遷移、可復(fù)用資產(chǎn)的底層秩序。如果缺失統(tǒng)一秩序，數(shù)據(jù)擴(kuò)張并非正向規(guī)?；?Scale，只會(huì)走向熵暴（entropy explosion）。

Dexterity-BEV

01 給具身智能裝上“統(tǒng)一空間坐標(biāo)系”

Dexterity-BEV 的思路非常直接，也非常狠：把多來(lái)源、多視角、多本體的機(jī)器人數(shù)據(jù)，統(tǒng)一對(duì)齊到一個(gè) BEV 三維空間里

這不是簡(jiǎn)單把多視角圖像拼起來(lái)，也不是做一個(gè)笨重的三維重建系統(tǒng)。Dexterity-BEV 的關(guān)鍵，是構(gòu)建一個(gè)統(tǒng)一BEV對(duì)齊坐標(biāo)系，讓不同相機(jī)看到的物體、空間關(guān)系和操作目標(biāo)，都能被放進(jìn)同一個(gè)俯視參考空間。

可以把它理解成一個(gè)“虛擬正交相機(jī)”。不管真實(shí)相機(jī)裝在哪里、從哪個(gè)角度拍、機(jī)器人從哪個(gè)方向看，最終數(shù)據(jù)都會(huì)被轉(zhuǎn)化到同一個(gè)俯視空間里。這樣，同一個(gè)物理任務(wù)就不再是一堆互不兼容的二維圖像，而是同一物理世界中的可學(xué)習(xí)表達(dá)。

這一步的意義很大，過(guò)去很多 VLA 模型看起來(lái)學(xué)會(huì)了任務(wù)，但一旦相機(jī)視角變了、機(jī)器人基座動(dòng)了、場(chǎng)景布局變了，性能就會(huì)明顯掉。原因很簡(jiǎn)單：模型學(xué)到的不是物理規(guī)律，而是某個(gè)固定視角下的圖像模式。

Dexterity-BEV 要做的，就是把模型從“看圖猜動(dòng)作”拉回到“在三維空間里理解任務(wù)”。

02 它不是放棄 2D 大模型，而是給 2D 大模型補(bǔ)上 3D 坐標(biāo)

這也是 Dexterity-BEV 最值得講的地方。

具身智能行業(yè)現(xiàn)在有一個(gè)兩難：純 2D VLA 有語(yǔ)義能力，但空間不夠；重型 3D 方法有幾何信息，但成本高、訓(xùn)練難，也不容易復(fù)用已有 2D VLM 的能力。

Dexterity-BEV 沒(méi)有選擇推倒重來(lái)。它保留多視角 RGB 輸入，繼續(xù)復(fù)用成熟的二維視覺(jué)編碼器和視覺(jué)語(yǔ)言模型，同時(shí)通過(guò)頂點(diǎn)圖（vertex map）頂點(diǎn)譜（vertex spectrum），給每個(gè)視覺(jué) token 注入三維空間位置。

換句話說(shuō)，它不是重新造一個(gè)昂貴的 3D 系統(tǒng)，而是在已有視覺(jué)模型體系上補(bǔ)了一層機(jī)器人最缺的東西：空間坐標(biāo)。對(duì)于有深度信息的設(shè)備，它可以利用深度圖和相機(jī)標(biāo)定生成像素級(jí)三維頂點(diǎn)表示；對(duì)于更常見(jiàn)的純 RGB 相機(jī)，它可以通過(guò)頂點(diǎn)譜機(jī)制，為每個(gè)像素構(gòu)建一組三維位置假設(shè)，再編碼進(jìn)視覺(jué)特征中。

這就像給二維圖像接上了一套三維物理骨架。語(yǔ)義能力保住了，空間理解補(bǔ)上了，工程成本也沒(méi)有被打爆。這才是能 scale 的 3D。

03 不只對(duì)齊視覺(jué)，還對(duì)齊動(dòng)作

如果 Dexterity-BEV 只是把圖像對(duì)齊到 BEV 空間，那還不夠。機(jī)器人數(shù)據(jù)真正難的地方在于：動(dòng)作也不統(tǒng)一

不同機(jī)器人本體差異巨大。一個(gè) Franka，一個(gè)雙臂平臺(tái)，一個(gè)半人形機(jī)器人，即使執(zhí)行同一個(gè)任務(wù)，關(guān)節(jié)軌跡也完全不同。如果模型直接學(xué)關(guān)節(jié)角，基本就被硬件綁死了，Dexterity-BEV 的處理方式，是把動(dòng)作從具體關(guān)節(jié)里解放出來(lái)。

它不讓模型只學(xué)習(xí)“某個(gè)關(guān)節(jié)轉(zhuǎn)多少度”，而是學(xué)習(xí)末端執(zhí)行器在統(tǒng)一 BEV 空間中應(yīng)該去哪里、以什么姿態(tài)接近物體、如何移動(dòng)、如何完成任務(wù)。

更關(guān)鍵的是，這些末端執(zhí)行器位姿不是隨便表達(dá)的，而是被進(jìn)一步對(duì)齊到前面提到的統(tǒng)一 BEV 對(duì)齊坐標(biāo)系中。

這就形成了一個(gè)非常漂亮的閉環(huán)：視覺(jué)輸入在 BEV 空間里，機(jī)器人狀態(tài)在 BEV 空間里，目標(biāo)動(dòng)作也在 BEV 空間里，輸入和輸出第一次被放進(jìn)同一個(gè)物理坐標(biāo)系統(tǒng)。這才叫真正的感知—?jiǎng)幼鲗?duì)齊。

通俗點(diǎn)說(shuō)，Dexterity-BEV 給不同機(jī)器人、不同相機(jī)、不同動(dòng)作提供了一把共同的“空間尺子”。過(guò)去各說(shuō)各話的數(shù)據(jù)，現(xiàn)在終于能用同一種物理語(yǔ)言交流。

具身數(shù)據(jù)還有第三種混亂：時(shí)間。

同一個(gè)任務(wù)，不同操作者做得快慢不同；不同機(jī)器人執(zhí)行速度不同；有的人中間停頓，有的人動(dòng)作連貫。這些差異很多時(shí)候并不代表任務(wù)本質(zhì)，但會(huì)讓模型訓(xùn)練變得更難。

Dexterity-BEV 在數(shù)據(jù)管線中加入了跨軌跡時(shí)序?qū)R機(jī)制，對(duì)不同機(jī)器人、不同操作者、不同數(shù)據(jù)集里的軌跡進(jìn)行時(shí)間尺度規(guī)整。它不是要抹掉任務(wù)動(dòng)作結(jié)構(gòu)，而是盡量減少“誰(shuí)操作得快、誰(shuí)操作得慢”這種無(wú)意義差異，讓模型更專注于學(xué)習(xí)任務(wù)真正的關(guān)鍵動(dòng)作順序和空間關(guān)系。

所以 Dexterity-BEV 做的不是單點(diǎn)優(yōu)化，而是一套系統(tǒng)性數(shù)據(jù)基建：空間對(duì)齊、動(dòng)作對(duì)齊、時(shí)序?qū)R、數(shù)據(jù)管線對(duì)齊

Dexterity-BEV 實(shí)測(cè)驗(yàn)證強(qiáng)泛化能力

Dexterity-BEV 的實(shí)驗(yàn)設(shè)計(jì)也很有意思。它不是只在固定場(chǎng)景里刷一個(gè)好看的分?jǐn)?shù)，而是專門去測(cè)那些傳統(tǒng) VLA 容易翻車的情況：相機(jī)視角變化、機(jī)器人基座擾動(dòng)、場(chǎng)景布局變化、跨機(jī)器人平臺(tái)遷移。

在仿真中，Dexterity-BEV 在 LIBERO 和 RoboTwin 2.0 上與 π0、X-VLA 等強(qiáng)基線對(duì)比。尤其在相機(jī)視角、機(jī)器人基座和場(chǎng)景布局被大幅擾動(dòng)的設(shè)置下，傳統(tǒng) 2D VLA 方法成功率明顯下滑，而 Dexterity-BEV 仍能保持穩(wěn)定表現(xiàn)。

在真實(shí)機(jī)器人上，Dexterity-BEV 也覆蓋了四類雙臂平臺(tái)和多個(gè)長(zhǎng)程任務(wù)，包括折疊紙盒、疊衣服、舀爆米花、遞書等。這些任務(wù)不是簡(jiǎn)單抓取放置，而是涉及剛體、柔性物體、顆粒物、雙臂協(xié)同和人類交互的復(fù)雜操作。

這類任務(wù)更接近真實(shí)世界，也更能暴露模型到底是在“記畫面”，還是在“理解物理”。

Dexterity-BEV 的結(jié)果說(shuō)明了一件事：當(dāng)機(jī)器人數(shù)據(jù)被放進(jìn)統(tǒng)一空間，模型的泛化才真正有了基礎(chǔ)。

BEV 進(jìn)入具身智能，打通Scaling關(guān)鍵路徑

筆者認(rèn)為， Dexterity-BEV 最重要的意義，不只是一個(gè)模型效果提升，更像是具身智能從“堆數(shù)據(jù)階段”進(jìn)入“建數(shù)據(jù)秩序階段”的標(biāo)志。

過(guò)去行業(yè)很熱衷討論：誰(shuí)采了更多小時(shí)數(shù)據(jù)，誰(shuí)有更多機(jī)器人，誰(shuí)做了更多任務(wù)。但如果這些數(shù)據(jù)不能統(tǒng)一訓(xùn)練、不能跨機(jī)遷移、不能復(fù)用到新場(chǎng)景，數(shù)據(jù)規(guī)模越大，反而越像一座座孤島。

Dexterity-BEV 提供的是另一種思路：先建立統(tǒng)一物理空間，再談數(shù)據(jù)規(guī)?；?/strong>。這和自動(dòng)駕駛當(dāng)年 BEV 范式帶來(lái)的變化非常像。BEV 讓自動(dòng)駕駛從多相機(jī)圖像感知，走向統(tǒng)一空間理解；而現(xiàn)在，Dexterity-BEV 正在嘗試讓具身智能從雜亂的機(jī)器人軌跡，走向統(tǒng)一的感知—?jiǎng)幼魑锢肀磉_(dá)。

如果說(shuō)過(guò)去具身智能還在“看見(jiàn)世界”，那么 BEV 進(jìn)入之后，它開始有機(jī)會(huì)“組織世界”。這可能是具身模型真正 scale 之前，必須補(bǔ)上的一層數(shù)據(jù)基建。

具身智能的下一階段，不會(huì)只是模型更大、數(shù)據(jù)更多、機(jī)器人更貴。

真正決定行業(yè)能不能跑起來(lái)的，是數(shù)據(jù)能不能被統(tǒng)一，動(dòng)作能不能被遷移，經(jīng)驗(yàn)?zāi)懿荒芸鐧C(jī)器人復(fù)用。

Dexterity-BEV 的價(jià)值就在這里：它不是只做一個(gè)更強(qiáng)的策略模型，而是試圖為具身智能建立一套可規(guī)?；臄?shù)據(jù)秩序。

從這個(gè)角度看，BEV 殺入具身智能，不是一個(gè)普通技術(shù)點(diǎn)，而是一次補(bǔ)課。

自動(dòng)駕駛吃到過(guò)的 BEV 紅利，現(xiàn)在輪到機(jī)器人了。

而跨維智能這次做的，就是把具身智能真正推上 Scaling 快車道之前，先把路修好。

文中視頻鏈接：https://mp.weixin.qq.com/s/uBE0DO2VZzBjaHnMeQKw0A