无主之地2配置高吗|看真人裸体BBBBB|秋草莓丝瓜黄瓜榴莲色多多|真人強奷112分钟|精品一卡2卡3卡四卡新区|日本成人深夜苍井空|八十年代动画片

網易首頁 > 網易號 > 正文 申請入駐

原力靈機發布Realtime-VLA V2:從遙操作到真實部署,VLA提速的系統解法

0
分享至

責編 | 夢依丹

出品丨原力靈機投稿

最近刷屏的 GEN-1 有一個非常重要的 Feature,就是它的執行速度非常“快”:能夠以一種明顯不拖沓的節奏完成任務,并相較此前方案實現了約 3 倍提速。而這一效果的取得,“依賴系統級組件”,并“不只是模型權重”的改進。

事實上,關于 GEN-1 極速執行的底層邏輯,Generalist 在最新技術報告中給出了答案:GEN-1 并非一個機械疊加機器人動作模塊的微調版視覺語言模型(VLM),也不僅是一個世界模型,而是一個面向物理交互、具備“一等公民”地位的原生基礎模型。這與原力靈機堅持的技術路線高度一致。原力靈機明確提出“具身原生”這一全新 AI 范式,將其作為具身智能的核心實現路徑,徹底區別于行業普遍采用的“嫁接式訓練”,從智能本質與形成機制上扎根于物理交互。

正是基于這種深耕物理世界交互的共識,比較巧的是,恰好在最近一段時間里,我也專門研究了在 VLA 控制下如何讓機器人真正快速地運動起來。相關結果最終整理為題為《Realtime-VLA V2》的技術報告,并已公開在:

  • 文章:https://arxiv.org/abs/2603.26360

  • 視頻與 rrd 文件:https://dexmal.github.io/realtime-vla-v2/

  • 代碼:https://github.com/dexmal/realtime-vla-v2

總結來說,我們實現了以數倍于遙操作采集訓練數據的速度執行 VLA,并且在多個真實場景任務上完成了驗證。


在三個不同任務上比較遙操演示速度(上)算法運行速度(中)和人手操作速度(下)

當然,要做到這一點,絕不是靠一個“巧妙算法打天下”,而是“端到端的全面踩坑”。下面我按照時間順序,記錄一下整個推進過程。


遙操作數據最初甚至無法錄制

出乎意料的是,整個項目的第一道難關,竟然是遙操作數據本身難以采集。

由于我們的目標是在“真實”場景中研究任務執行,而不僅限于傳統的“疊衣服”類 demo,因此我們還選擇了一些來自工業客戶的擺放類任務。例如在視頻展示的上料任務中,需要將工件放置到工裝上,這一過程要求 sub-mm 級精度,稍有偏差就會發生卡滯。我最初嘗試親自進行遙操作,結果發現這個任務幾乎無法順利完成,一度懷疑它是否具備可行性。

但反復嘗試之后,我們逐步總結出一套有效的方法論。概括來說,核心在于:心要靜。是的,這看似“玄學”的訣竅,背后對應了我們針對遙操作員的若干重要優化:

  • 盡可能將動作設計成“機器人友好”的形式,減少必須依賴超高精度控制的步驟占比

  • 允許主臂基座靈活調整位置(DOS-W1 支持該能力),為遙操作員提供更舒適的姿態,降低疲勞

  • 每采集 1 小時,固定休息 10 分鐘

  • 在采集初期接受效率較低的現實,直到慢慢達到“人臂合一”的無我境界,采集效率自然上去

總體來看,目標是讓遙操作員盡可能建立起對機器人末端的直接控制感,在視覺、觸覺反饋和動作執行之間形成穩定耦合,從而提升采集質量與一致性。

我們不得不承認,人類本身依然是一個超強真實世界自主 RL Agent。經過一系列優化后,演示數據總算可以較穩定地錄制出來。不過即便如此,采集到的演示速度仍顯著低于最終應用需求。換句話說,從項目一開始,我們就必須把目標設定為:“推理速度要遠超訓練數據本身”。


充滿細節的時序問題

有了數據之后,自然就是盡快 Finetune 一版 VLA,再結合 RTC 算法縮短每一步之間的間隔,看看效果。

結果也并不意外:系統很快暴露出問題。我們發現,如果想以合理成功率完成任務,別說超過演示數據的速度(定義為 1x),實際上往往需要降到 0.75x 甚至 0.5x 才能穩定運行。

這是否意味著當前 VLA 模型能力不足?為此,我們做了更深入的排查,并發現一個非常關鍵的問題:推理與執行鏈路中的時序延遲遠比預期嚴重。

為了驗證這一點,團隊做了一個簡單實驗:測量控制指令從發送到真正被機械臂執行,以及從執行到傳感器反饋可觀測之間的時間差。


結果非常明確:給機械臂發送位置指令后,通常需要約 150ms,機械臂才能實際運動到對應位置;隨后還要再經過約 50ms,我們才能從傳感器反饋中觀察到這一變化。這個時延顯著超出我們此前的預期,也明顯不同于以往在 UR 等工業機械臂平臺上的經驗。

這一現象其實不難理解。我們所使用的是桌面級輕量機械臂,其控制系統往往會對輸入進行顯式或隱式平滑,以避免運動過于抖動。但由于機械臂 API 并不提供對未來軌跡的原生支持,任何形式的平滑都不可避免地引入相位滯后。

既然如此,一個自然的思路是:在 VLA 推理時,模型其實已經隱含包含了“未來軌跡”信息,那么我們是否可以在發送給機械臂的軌跡上進行適當“預放大”,以抵消系統平滑造成的時延影響?


實驗結果非常直觀。如上圖所示,當輸入軌跡變成綠色所示那種經過適度“夸張”的形式后,機械臂的實際執行軌跡(橙色)就能更好地貼合模型原始輸出(藍色)。

但這一方案也帶來了新的問題。帶有明顯“過沖”特征的控制信號,會顯著增加機械臂抖動風險;而一旦機械臂抖動,相機隨之抖動,視覺輸入進一步惡化,再反饋到模型端后,系統很容易進入不穩定狀態。

為此,我們在模型輸出之后引入了額外的速度規劃與位置規劃,通過優化方法將高加速度段的變化分散到其他時段中,使最終下發給機械臂的軌跡既具備補償效果,又不會引發過強抖動。

完成這些處理之后,對于大多數任務,系統已經可以直接 2x 速度下取得較為理想的效果。


挑戰極限:上機器學習!

不過,我們對 2x 的狀態仍然不完全滿意。我一直在問一個問題:還能不能更快?

進一步分析動作序列后可以發現,不同階段對速度的要求并不一致。比如在精細接觸階段,系統通常需要更慢、更穩;而在空中轉移階段,則完全可以更快。

于是,一個自然的方向就是加 RL:讓系統自動學習“在什么時刻應該以什么速度執行”。

這類思路此前已有論文提出,代表性工作如 Speed Tuning。不過,任何涉及真實世界機器人 RL 的工作,落地起來都非常復雜。

這時,團隊里一位實習生提出了一個非常有效的思路:既然采集過程中本來就需要有人在旁監控,不如直接讓他加RL。于是,我們形成了目前最穩定、也最 work 的一種“油門式采集”方法:


具體做法是:先讓現有模型自主執行推理,人類站在旁邊觀察;當判斷當前階段可以更快時,就按下加速鍵;當感覺應當減速時,就按下減速鍵。這個過程很像在駕駛過程中踩油門和剎車,只不過調節對象變成了執行速度。

采集到這樣的數據后,再用于訓練新的模型,并持續迭代,我們便得到了一系列速度逐步提升的模型。

不得不說,人類確實是非常高效的真實世界自主 Agent。我們發現,這種 DAgger-style 的迭代方式非常靠譜,幾乎適用于各種任務,并且不太會引入復雜的系統不穩定問題。

也正因如此,機器人的執行速度得以進一步向前推進。


與人類速度的比較,以及進一步的邊界

如果這是一個童話故事,那么結尾大概會是:“最終我們讓機器人達到了媲美人類的速度,項目圓滿完成。”但現實通常不會如此簡單。

確實,經過上述優化之后,機器人在我們測試過的任務上的執行速度已經有了非常明顯的提升。甚至在旁觀其疊衣服時,已經能清晰聽見關節電機高速運轉的聲音。我們還專門讓人類以一種“不快不慢、但合理”的節奏,按照“機器人完成任務的方式”來執行同樣任務,結果顯示:在部分任務上,機器人確實已經接近“人手速度”。

但問題在于,人類從來不是以“機器人式”的方式完成任務。

人類雙手在結構、力量分布、材料特性和控制自由度上,依然展現出極強的生物學優勢。很多動作,人類可以以高度靈活、近乎一步到位的方式自然完成,而這些能力,目前的機器人硬件體系仍無法真正復制。

我們當然可以在六軸機械臂體系下持續探索其極限,但是離人的性能,還是差著很遠。

另一方面,當我們把執行速度不斷推高后,在各種延時的debuff下,VLA 模型本身其實也逐漸被推到了一個并不理想的工作區間:它需要在很高的提前量下以很準的要求輸出未來位置。

所以在執行速度的這條路上,如果要繼續走,必然還是要和硬件以及模型都再大戰一番,才能再繼續突破了。

這些問題,就留待未來繼續解決。

不過,我們仍然希望通過這次工作的記錄與開源,讓更多人在構建機器人 demo 時,能夠真正重視執行速度這一問題,而不是讓行業外的人繼續形成“用了 VLA 之后機器人只能慢吞吞動作”的刻板印象。


【活動分享】2026 奇點智能技術大會將于 4 月 17-18 日在上海環球港凱悅酒店正式召開,大會聚焦大模型技術演進、智能體系統工程、OpenClaw 生態實踐及 AI 行業落地等十二大專題板塊,特邀來自BAT、京東、微軟、小紅書等頭部企業的 50+ 位技術決策者分享實戰案例。旨在幫助技術管理者與一線 AI 落地人員規避選型風險、降低試錯成本、獲取可復用的工程方法論,真正實現 AI 技術的規模化落地與商業價值轉化。這不僅是一場技術的盛宴,更是決策者把握 2026 AI 拐點的戰略機會。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
日媒:世乒賽賽制有問題!中國隊排名小組第三 其他隊伍故意輸球

日媒:世乒賽賽制有問題!中國隊排名小組第三 其他隊伍故意輸球

念洲
2026-05-14 20:27:36
中美會談結束,特朗普用4字評價,美媒發現:中國這次話說的很重

中美會談結束,特朗普用4字評價,美媒發現:中國這次話說的很重

尋墨閣
2026-05-15 01:15:17
美國稱霸的模式:沒打贏過一場大國戰爭,就靠兩個國家收割全世界

美國稱霸的模式:沒打贏過一場大國戰爭,就靠兩個國家收割全世界

賤議你讀史
2026-05-14 06:25:03
俄羅斯發動全面戰爭以來最大規模空襲,超1400架無人機襲擊烏克蘭

俄羅斯發動全面戰爭以來最大規模空襲,超1400架無人機襲擊烏克蘭

山河路口
2026-05-14 16:31:39
兄妹救4人反被拉黑后續!網友曝猛料,難怪怕身份公開,被人認出

兄妹救4人反被拉黑后續!網友曝猛料,難怪怕身份公開,被人認出

奇思妙想草葉君
2026-05-14 23:51:36
馬斯克幼子這身裝扮“火”了:穿新中式馬甲,手拎虎頭包,衣服包包都是中國造

馬斯克幼子這身裝扮“火”了:穿新中式馬甲,手拎虎頭包,衣服包包都是中國造

紅星新聞
2026-05-14 23:50:57
特朗普訪華代表團集體使用一次性手機,禁止連接中國公共WiFi

特朗普訪華代表團集體使用一次性手機,禁止連接中國公共WiFi

桂系007
2026-05-15 00:05:27
成都“第三高樓”大縮水,396米砍到250米以下!

成都“第三高樓”大縮水,396米砍到250米以下!

GA環球建筑
2026-05-14 23:37:45
“只有我和黃仁勛在專機上”

“只有我和黃仁勛在專機上”

中國新聞周刊
2026-05-14 12:27:23
瞬間成為百萬富翁!有網友用AI某找回含有5枚比特幣的錢包密碼,激動的瘋狂爆粗

瞬間成為百萬富翁!有網友用AI某找回含有5枚比特幣的錢包密碼,激動的瘋狂爆粗

西游日記
2026-05-14 10:46:28
寧愿用早田希娜,也不用橫掃王曼昱的她,中澤銳這步險棋實在太妙

寧愿用早田希娜,也不用橫掃王曼昱的她,中澤銳這步險棋實在太妙

以茶帶書
2026-05-14 13:39:59
被中國制裁6年的魯比奧,為何能隨特朗普訪華?真相來了

被中國制裁6年的魯比奧,為何能隨特朗普訪華?真相來了

燕梳樓頻道
2026-05-14 19:54:33
一場外交盛事 為何成了全球“圈粉”現場?

一場外交盛事 為何成了全球“圈粉”現場?

看看新聞Knews
2026-05-15 00:00:12
U17女足無緣決賽!魔咒延續19年,半決賽7連敗,5戰朝鮮全負

U17女足無緣決賽!魔咒延續19年,半決賽7連敗,5戰朝鮮全負

奧拜爾
2026-05-14 21:24:38
盧比奧與魯比奧 智慧處理化解尷尬 不影響“制裁”

盧比奧與魯比奧 智慧處理化解尷尬 不影響“制裁”

原某報記者
2026-05-14 19:23:20
白左圣母被驅趕出家:還會說有一天我們也是難民嗎

白左圣母被驅趕出家:還會說有一天我們也是難民嗎

俠客棧
2026-05-14 12:43:23
晚宴上,馬斯克最放松喝得微醺,一直在搞怪,感覺像回到家一樣

晚宴上,馬斯克最放松喝得微醺,一直在搞怪,感覺像回到家一樣

魔都姐姐雜談
2026-05-15 00:46:56
黃仁勛這次為什么不穿皮夾克?

黃仁勛這次為什么不穿皮夾克?

麥杰遜
2026-05-14 18:07:51
四川武警營門推哨兵后續:大家都搞錯了罪名,她面臨的不是襲警罪

四川武警營門推哨兵后續:大家都搞錯了罪名,她面臨的不是襲警罪

奇思妙想草葉君
2026-05-13 18:25:17
又奪冠了!僅剩英超!斬獲兩冠王!歐冠冠軍締造五連冠王朝

又奪冠了!僅剩英超!斬獲兩冠王!歐冠冠軍締造五連冠王朝

烏龍球OwnGoal
2026-05-14 10:32:26
2026-05-15 08:04:49
AI科技大本營 incentive-icons
AI科技大本營
連接AI技術的創造者和使用者
2691文章數 7684關注度
往期回顧 全部

科技要聞

馬斯克說會談很順利 黃仁勛點贊 庫克比耶

頭條要聞

媒體:中美外交盛事成"圈粉"現場 特朗普直呼"驚艷"

頭條要聞

媒體:中美外交盛事成"圈粉"現場 特朗普直呼"驚艷"

體育要聞

爭議抽象天王山,和季后賽最穩定中鋒

娛樂要聞

何九華官宣當爸!全程不提孩子媽

財經要聞

李強會見美國工商界代表

汽車要聞

雙零重力座椅/AI智能體/調光天幕 啟境GT7內飾發布

態度原創

旅游
本地
家居
數碼
軍事航空

旅游要聞

滬客重返金門,島內呼吁恢復兩岸旅游

本地新聞

用蘇繡的方式,打開江西婺源

家居要聞

精神奢享 對話塔尖需求

數碼要聞

聯想來酷Lecoo Air16酷睿版國補4250元起:僅1kg 搭載酷睿Ultra 200V

軍事要聞

烏克蘭首都基輔遭空襲 死亡人數增至12人

無障礙瀏覽 進入關懷版