无主之地2配置高吗|看真人裸体BBBBB|秋草莓丝瓜黄瓜榴莲色多多|真人強奷112分钟|精品一卡2卡3卡四卡新区|日本成人深夜苍井空|八十年代动画片

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

物理AI的「原生」時刻:原力靈機發(fā)布具身大模型DM0

0
分享至



當前,大語言模型(LLMs)和視覺語言模型(VLMs)在語義領域的成功未能直接遷移至物理機器人,歸根結底在于其互聯(lián)網(wǎng)原生的基因。主流的 “預訓練 - 后適配”(Pretrain-then-Adapt)的范式依賴互聯(lián)網(wǎng)靜態(tài)數(shù)據(jù),導致模型先天缺失物理基礎(Physical Grounding),在落地時往往顧此失彼:要么導致操作與導航的模塊割裂,要么引發(fā)災難性遺忘,在追求控制精度的過程中丟失了核心的通用推理能力。



圖 1:DM0 在異構語料庫上進行預訓練 —— 無縫整合互聯(lián)網(wǎng)、自動駕駛和具身操作數(shù)據(jù)。

為了打破這一局限,原力靈機聯(lián)合階躍星辰提出一種名為 DM0 的具身原生(Embodied-Native) VLA 模型,其工作核心在于「從 0 開始」:從訓練的最初階段,就采用統(tǒng)一的視角,將具身傳感器與運動數(shù)據(jù)視為與語言、視覺數(shù)據(jù)同等重要的一等公民。

作為一個端到端模型,DM0 可以無縫統(tǒng)一機器人的精細操作(Manipulation)與移動導航(Navigation)。在 RoboChallenge 真實世界基準測試 Table 30 中,DM0 在單任務(Specialist)和多任務(Generalist)兩種設置下均以顯著優(yōu)勢領先現(xiàn)有 SOTA 模型,展現(xiàn)出極其強大的物理世界泛化與執(zhí)行能力。



  • 論文名稱: DM0: An Embodied-Native Vision-Language-Action Model towards Physical AI
  • 論文鏈接:https://arxiv.org/html/2602.14974v1
  • DM0 GitHub : https://github.com/Dexmal/dexbotic
  • DM0 Hugging Face: https://huggingface.co/collections/Dexmal/dm0

方法與架構:多源混合訓練與空間腳手架

真正的通用機器人需要一個具身原生模型,這要求模型必須調(diào)和異構數(shù)據(jù)源 —— 涵蓋互聯(lián)網(wǎng)語料、自動駕駛日志以及機器人操作軌跡,學習既具有豐富語義又具備物理可執(zhí)行性的表征。為此,DM0 并未采用簡單的端到端多層感知機映射,而是設計了一套精妙的多源混合訓練與具身空間腳手架(Embodied Spatial Scaffolding)架構。

整體模型架構



圖 2:DM0 架構圖,包含 VLM 主干和基于流匹配(Flow Matching)的動作專家。

DM0 的核心架構由兩個主要組件構成:

1.VLM 主干網(wǎng)絡: 基于 Qwen3-1.7B 大語言模型構建,并增加了一個強大的感知編碼器 PE,負責多模態(tài)感知、語義理解以及在機器人環(huán)境中的具身推理。輸入的多視角圖像會被調(diào)整為 728×728 的高分辨率,經(jīng)過感知編碼器處理后,提取出細粒度的視覺特征。

2. 動作專家: 這是一個基于流匹配的連續(xù)控制模塊。它不直接從圖像提取特征,而是接收來自 VLM 主干網(wǎng)絡提取的鍵值(KV)緩存作為條件輸入,從而生成平滑、精確的連續(xù)控制動作。

在推理時,DM0 支持兩種模式:既可以直接從多模態(tài)觀察和指令中預測連續(xù)動作;也可以先通過 VLM 生成文本形式的具身推理過程,隨后將這些推理文本作為條件,引導動作專家輸出動作。

多源混合訓練

聯(lián)合優(yōu)化語言目標與連續(xù)控制目標往往會破壞預訓練 VLM 中保存的語義表征。為了解決這個問題,DM0 采用了一種受知識隔離(Knowledge Insulation)啟發(fā)的混合梯度策略。

具體而言,在針對具身機器人數(shù)據(jù)進行訓練時,動作專家的梯度不會回傳給 VLM 主干網(wǎng)絡。這種解耦操作有效防止機器人動作數(shù)據(jù)對 VLM 通用常識的侵蝕。與此同時,VLM 仍然會繼續(xù)使用非具身數(shù)據(jù)進行更新,不斷優(yōu)化其通用語言和視覺理解能力。此外,VLM 還被監(jiān)督預測離散的動作 Token,促使它編碼出有利于下游連續(xù)動作預測的動作相關語義。

具身空間腳手架

為進一步彌合高級語言推理與低級動作控制之間的鴻溝,本文創(chuàng)新性提出一套分層預測框架 —— 具身空間腳手架。在訓練中,模型被要求順序執(zhí)行以下輔助任務,構建出空間維度的思維鏈(Spatial CoT):

1. 子任務預測: 將復雜的總指令分解為一系列可解釋、易管理的子步驟。

2. 目標邊界框預測: 在視覺觀察中預測出目標物體或目標區(qū)域的 2D 邊界框。

3. 末端執(zhí)行器軌跡預測: 預測機器臂末端在主攝像機視圖下的未來 2D 軌跡。

4. 離散動作預測: 預測代表機器人控制命令的離散 Token。

這種設計如同為模型搭建一層層腳手架,引導其從抽象的語義意圖,逐步過渡到以物體為中心的空間定位,再到動作相關的幾何軌跡,最終落地為底層控制。這種信息瓶頸機制不僅過濾了任務無關的噪聲,還極大地限制了動作策略的解空間。

三階段訓練配方:從互聯(lián)網(wǎng)原生走向具身原生



圖 4:預訓練、中期訓練、后期訓練的數(shù)據(jù)混合比例。

DM0 的強大不僅源于架構,更歸功于其精心設計的三階段訓練 pipeline,總計消耗了高達 1.2T Token 的數(shù)據(jù)。預訓練階段在大規(guī)模的互聯(lián)網(wǎng)、自動駕駛和具身數(shù)據(jù)上建立強大的多模態(tài)感知;中訓練階段加入動作預測,并在跨多種機器人平臺的具身數(shù)據(jù)上把模型錨定為可執(zhí)行的控制,同時保留通用對話能力;后訓練階段則收窄所使用的本體與數(shù)據(jù)范圍,以便在少數(shù)目標平臺上穩(wěn)定視覺 - 運動對齊。

Pretraining

這個階段,模型在一套極其豐富的異構語料庫上進行聯(lián)合優(yōu)化,參數(shù)全部解凍。數(shù)據(jù)不僅包含傳統(tǒng)的網(wǎng)頁文本、教育文獻、OCR 數(shù)據(jù)和通用 VQA,還極具前瞻性地引入 GUI 界面數(shù)據(jù)、自動駕駛深度檢測數(shù)據(jù)以及大量的具身數(shù)據(jù)。通過 1.13T Token 的大規(guī)模洗禮,模型在獲得語義知識的同時,隱式地掌握了物理先驗(如空間關系、深度結構、物理動力學)。

Mid-Training

中期訓練階段引入了動作預測模塊,數(shù)據(jù)規(guī)模約為 200M 樣本。此時,混合梯度策略(知識隔離)開始生效。數(shù)據(jù)混合了跨形態(tài)的單臂 / 雙臂機器人軌跡(如 Franka、UR5、ALOHA)、仿真環(huán)境數(shù)據(jù)以及視覺 - 語言指令微調(diào)數(shù)據(jù)(如 Cambrian-10M、LLaVA-OV)。為了增強模型的長程規(guī)劃能力,本文還專門構建了具身推理(ER)數(shù)據(jù)集,包含任務分解、進度估計等訓練項。

Post-Training

后期訓練階段旨在將模型對齊到實際部署的硬件上。使用約 50M 樣本,將目標縮小至少數(shù)特定的真實機器人平臺。減少不同形態(tài)機器人的分布方差,使得模型能在目標機械臂上建立極其穩(wěn)定的視覺 - 運動映射。

實驗結果:在 RoboChallenge 上的碾壓級表現(xiàn)

為全面驗證 DM0 的物理世界交互能力,DM0 在極具挑戰(zhàn)性的 RoboChallenge 真實世界基準 Table30 上進行評估。該基準包含 30 個需要多步推理和精確連續(xù)控制的長視野桌面操作任務。

單任務(Specialist)評估



表 1:RoboChallenge Table30 上 SOTA 開源 VLA 模型的對比結果。

如表 1 所示,DM0-Specialist 模型在僅有 2.4B 參數(shù)量的情況下,在 UR5、Franka、ARX5、ALOHA 等多個機器人平臺上,全面超越參數(shù)量更大的 Spirit-v1.5 (4B)、GigaBrain-0.1 (3B) 、pi0.5 (3B) 等 SOTA 開源模型,取得了 62.00% 的平均成功率。

值得注意的是,在諸如 “在籃子中整理水果”、“插網(wǎng)線” 和 “掃垃圾” 這類長時序、強交互的復雜任務中,DM0 甚至取得了 100% 或 80% 這樣接近完美的成績,而其他基準模型在這些任務上經(jīng)常徹底失?。?%)。

多任務(Generalist)評估



表 2:RoboChallenge Table30 上當前最佳的開源 VLA 多任務模型的對比結果。

在更考驗模型跨任務適應能力的多任務中(一個模型同時掌握某平臺下的所有任務),DM0-Generalist 同樣展現(xiàn)出壓倒性優(yōu)勢,取得了 37.3% 的平均成功率和 49.08 的任務得分,大幅超越了之前最強的 pi0.5 模型的 17.67% 和 31.27;特別是在 “堆疊彩色方塊”、“將鞋子放在鞋架上” 等需要高精度空間理解的任務中,DM0 依然能夠打出滿分。



表 5:DM0 具備在具身場景中預測子任務的思維鏈(CoT)能力。

除了卓越的動作執(zhí)行能力,由于實施了知識隔離,處于 Mid-Training 階段的 DM0 依然完美保留了多模態(tài)對話能力。在具身場景的物體檢測、復雜圖表 OCR 識別、甚至是作為手機智能體(Mobile Agent)識別外賣按鈕的任務中,它也能對答如流。

結論與未來展望

DM0 從根本上重新思考了通用機器人策略的開發(fā)路徑。它證明了與其讓純語義的大語言模型在事后去適應機器人身體,不如在預訓練的萌芽期,就將物理世界的感知與多源數(shù)據(jù)相融合,構建一個真正意義上的具身原生 VLA 模型;其獨創(chuàng)的混合梯度訓練保護了認知不退化,而具身空間腳手架則賦予了模型三維空間的推理直覺。

盡管 DM0 已經(jīng)樹立了一個強大的基準,但這僅僅是 Physical AI 邁出的一小步。論文的最后,作者團隊也指出了幾個極具潛力的演進方向:

1. 具身原生的 Scaling Laws: DM0 目前依然是一個 2B 級別的輕量化模型。未來,團隊計劃將其擴展至 7B 甚至 30B 規(guī)模,并吞吐更為龐大的仿真 + 真實的混合數(shù)據(jù)集,以期觀察到在物理推理層面的涌現(xiàn)能力。

2. 更廣闊的多模態(tài)感知: 現(xiàn)實世界的物理交互絕不僅限于看和說。DM0 的預訓練階段未來有望直接整合觸覺反饋、音頻以及純深度信息,讓機器人即便在視野受限的動態(tài)環(huán)境中依然游刃有余。

3. 長程推理與世界模型: 現(xiàn)有的空間腳手架雖然解決了部分規(guī)劃問題,但跨越超長時間維度的任務仍是業(yè)界難題。未來,若能將世界模型整合進 DM0 ,賦予機器人在腦海中預演動作后果并進行長期規(guī)劃的能力,真正的全能型 Physical AI 將不再遙遠。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
A股投資者已超2.5億

A股投資者已超2.5億

每日經(jīng)濟新聞
2026-06-13 18:01:27
太糟心了!反感持續(xù)升級!國內(nèi)商家對印度游客的排斥會持續(xù)升溫!

太糟心了!反感持續(xù)升級!國內(nèi)商家對印度游客的排斥會持續(xù)升溫!

阿策聊實事
2026-06-12 12:16:01
厄爾尼諾鎖定!我國東部或迎史上最熱夏,2027年高溫恐更甚?

厄爾尼諾鎖定!我國東部或迎史上最熱夏,2027年高溫恐更甚?

阿器談史
2026-06-13 14:15:21
中國110億方水被鄰國攔截建水庫,規(guī)模超三峽

中國110億方水被鄰國攔截建水庫,規(guī)模超三峽

揭秘世間萬象
2026-06-11 14:59:12
《駱駝祥子》:虎妞至死都不知道,女人再愛一個男人,可以下嫁,可以倒貼,但千萬不要做這3件事情。

《駱駝祥子》:虎妞至死都不知道,女人再愛一個男人,可以下嫁,可以倒貼,但千萬不要做這3件事情。

大愛三湘
2026-06-13 20:08:05
上一次??怂狗稿e之后,邁克-布朗被解雇了

上一次??怂狗稿e之后,邁克-布朗被解雇了

只關于籃球
2026-06-13 11:46:07
餓死人就開戰(zhàn)?菲律賓司令放狠話:中國若不撤出仁愛礁,必有一戰(zhàn)

餓死人就開戰(zhàn)?菲律賓司令放狠話:中國若不撤出仁愛礁,必有一戰(zhàn)

聚焦瞬間
2026-06-13 22:03:38
意媒:國米對卡馬文加感興趣,皇馬要價至少5000萬歐

意媒:國米對卡馬文加感興趣,皇馬要價至少5000萬歐

懂球帝
2026-06-13 22:43:15
星艦很大,但長征九號更大!新信息顯示箭高185米,整流罩寬16米

星艦很大,但長征九號更大!新信息顯示箭高185米,整流罩寬16米

科普大世界
2026-06-13 16:41:01
馬斯克身家升至13位數(shù),印度裔高管女友曬照,展示14娃寶爸的力量

馬斯克身家升至13位數(shù),印度裔高管女友曬照,展示14娃寶爸的力量

譯言
2026-06-13 12:41:09
終于感受到國企降薪有多狠了

終于感受到國企降薪有多狠了

細說職場
2026-06-12 13:50:35
全球最割裂的股市規(guī)則!全世界都是自由T+0,唯獨大A散戶鎖死T+1

全球最割裂的股市規(guī)則!全世界都是自由T+0,唯獨大A散戶鎖死T+1

王二哥老搞笑
2026-06-09 20:28:44
提醒:煮熟也有毒。一口都別吃!很多家庭天天在吃,看完趕緊扔!

提醒:煮熟也有毒。一口都別吃!很多家庭天天在吃,看完趕緊扔!

王二哥老搞笑
2026-06-11 13:31:51
煤層厚達1千米,綿延上千公里!世界最大煤田真的是植物形成的?

煤層厚達1千米,綿延上千公里!世界最大煤田真的是植物形成的?

離離言幾許
2026-06-08 18:21:06
劉青山有多奢侈?開進口轎車,為吃頓餃子,派人去北京運韭菜

劉青山有多奢侈?開進口轎車,為吃頓餃子,派人去北京運韭菜

人生錄
2026-06-10 19:21:18
三年前發(fā)現(xiàn)鵝腿阿姨賣鴨腿的第一位網(wǎng)友終于找到了

三年前發(fā)現(xiàn)鵝腿阿姨賣鴨腿的第一位網(wǎng)友終于找到了

大張的自留地
2026-06-12 19:26:49
張鎮(zhèn)麟:上海和遼寧球迷都拼了命保護我,想建立屬于上海的王朝

張鎮(zhèn)麟:上海和遼寧球迷都拼了命保護我,想建立屬于上海的王朝

懂球帝
2026-06-13 20:04:34
巴基斯坦總統(tǒng)、總理哀悼

巴基斯坦總統(tǒng)、總理哀悼

環(huán)球時報國際
2026-06-11 14:35:12
都誰在看世界杯?官方公布中國收視率,F(xiàn)IFA 就偷著樂吧?

都誰在看世界杯?官方公布中國收視率,F(xiàn)IFA 就偷著樂吧?

酷侃體壇
2026-06-13 12:29:55
曇花六現(xiàn)!德比斯回應再次奪冠:感謝張雪機車 他們火速解決了問題

曇花六現(xiàn)!德比斯回應再次奪冠:感謝張雪機車 他們火速解決了問題

風過鄉(xiāng)
2026-06-13 20:48:06
2026-06-13 23:24:49
機器之心Pro incentive-icons
機器之心Pro
專業(yè)的人工智能媒體
13246文章數(shù) 142668關注度
往期回顧 全部

科技要聞

SpaceX上市首日破2萬億美元,馬斯克再封神

頭條要聞

深圳福田站現(xiàn)"幽靈9號口":人走著走著導向標識就沒了

頭條要聞

深圳福田站現(xiàn)"幽靈9號口":人走著走著導向標識就沒了

體育要聞

美國4比1巴拉圭:這統(tǒng)治力真是美國隊?!

娛樂要聞

鄧超曬孫儷親手織的帽子,笑瘋全網(wǎng)!

財經(jīng)要聞

梁文鋒向左,楊植麟向右

汽車要聞

深藍S07華為乾崑激光版增程車型上市 限時15.49萬元起

態(tài)度原創(chuàng)

手機
教育
時尚
藝術
健康

手機要聞

榮耀X80 Pro Max官宣,新機即將亮相

教育要聞

預計2026年秋季竣工!綿陽這所高中即將升級改造

夏天穿衣要杜絕土氣感!試試精致的小香風,優(yōu)雅與俏皮并存

藝術要聞

嫵媚入骨,前衛(wèi)封神!Alessio Albi 這組寫真,看完根本挪不開眼

老人、小孩、孕婦,吃粽子有啥風險

無障礙瀏覽 進入關懷版