機器人正在我們的日常中頻繁出沒。送外賣、做咖啡、接商演……但不出意外,它們在提供服務的同時,也會隨機“贈送”笑料。
酒店里送餐的機器人坐電梯為了站中間,不惜碾過乘客的腳;做咖啡時,只管拉花,不顧杯子里的咖啡灑沒了多少;機器人足球賽上,兩方“隊伍”在傳球和射門之間,選擇疊羅漢式摔倒。
你肯定有過疑問,為什么有些時候機器人行云流水,有些時候卻笨拙得不可理喻?
事實是,在一些論文和公開實驗中,機器人操作精細或復雜的任務時成功率并不高。即便簡單如“抓取”,也會受制于幾何多樣性和復雜的物理環境,成功率“五五開”。
最近,在最新的 SimplerEnv 基準測試中,一家中國的具身智能企業“深度機智”研發的具身智能模型跑出了 80.2% 的平均成功率,超越了“行業標桿” Pi0.5 ( 57.1%),達到行業 SOTA。模型能力突破的關鍵是這家公司在單單“模仿動作”之外,為具身智能找到另外一條通往“通用性”的道路。
機器人“認死理”
要是你在電梯里被“橫沖直撞”的機器人踩到腳,不免脫口而出,真是典型的“一根筋”!作為人類,挺容易理解這個詞。它通常指不善變通,認死理,一條道跑到黑。放到機器人的語境下,它有一個專業表達,“泛化”。機器人泛化程度的高低決定了它如何應對從未見過的那些情況。
莫拉維克悖論,人工智能領域公認的一個觀察,經過數億年的自然選擇,人類的大腦發育出了一套極其高效的物理引擎和模式識別系統(比如行走、感知、常識判斷),這些功能被固化在了大腦最古老的區域。而我們稱之為推理、邏輯、抽象的那些刻意思考過程,其實依賴大量無意識的感知預設。
為了讓機器人直接跳過“本能進化”這一漫長的演化過程。人類要么搭建“高精度版《模擬人生》”——1:1還原物理定律的虛擬世界,讓機器人在里面進行千萬次的強化學習。要么穿上傳感設備,讓機器人像“提線木偶”般模擬出每一個動作。一大把機器人因此有了不錯的運動控制,尤其在下肢。
但是“速成”的機器人其實如還未開智的人類孩童一般,往往將死記硬背誤以為真的懂了。本質上還是因為機器人學到的是統計相關性,而非物理因果性。機器人是個“熟練工”,可它出不出洋相取決于之前人類“教沒教過”,要是題目超綱,那可就是人類的不懂事兒了。
你得先把人類看不上的常識裝進機器人的大腦
人類孩童在成長過程中會逐漸編織好一張致密的常識網絡。然而,機器人每一次與物理世界的接觸,都要重新建構一條統計學邏輯鏈。
打個比方,機器人很像一個討巧的“考試型”學生。它一般在上場前得臨陣磨槍一番。真正阻礙它成為“全科通才”的原因是,訓練數據的稀缺和匱乏。
目前訓練機器人,主要靠仿真和遙操作真機采集兩種方式得來的數據。但是它們各自面臨困境。仿真環境的物理引擎往往過于“潔癖”,難以完美復刻現實中復雜的摩擦力、物體的形變或是光影的亂跳。用于訓練真實場景里的機器人,仿真數據得做合格篩選。真機采集固然真實,卻面臨擴展性瓶頸,每一秒人類操作員的示范都意味著實打實的機械投入和損耗。
于是從去年起,國內外的一些公司開始探討其他數據采集策略。
今年2月英偉達發布構建了名為 DreamDojo-HV(Human Videos)的數據集,包含44711小時的第一人稱視角視頻。特斯拉在去年 5 月也稱正在把 Optimus 的訓練從傳統的動作捕捉和遙操作轉向純視覺的視頻學習,當前也聚焦在第一視角。深度機智也在去年發布論文成果,他們構建了人類第一視角視頻的數據集,并在此基礎上訓練了一個具身大腦,PhysBrain。
![]()
深度機智數采設備
國內外的團隊目標大致相同,訓練機器人“學會”如人類一般對物理世界進行理解和交互,以此獲得物理智能和泛化能力的提升。
在語言智能領域,Scaling Laws 已經是一個被廣泛接受的共識。但是在機器人領域,這一規律一直未能建立。直到去年 11 月,Generalist AI(由前 DeepMind 高級研究員創辦)基于27萬小時人類操作真實物理世界任務的視頻做預訓練,在其機器人基礎模型 GEN-0 身上觀察到了可量化的 Scaling Law(擴展定律)。
![]()
圖源 Generalist AI
從時間點上來看,甚至先于 Generalist AI 證明具身智能的 Scaling Law 更早,深度機智就篤定,人類數據在數據采集上最有可能規模化,“第一視角之下“同時蘊含最為直觀的物理直覺。
深度機智成立于去年5月,由北京中關村學院、中關村人工智能研究院共同孵化。創始人陳凱作為北京中關村學院導師,中關村人工智能研究院研究員,曾任微軟亞洲研究院首席研究員,一直深耕在人工智能前沿研究。
陳凱與公司 CEO 張翼博同為中科大少年班學院校友,也是大學室友。張翼博是AI for Science領域專家,其一作研究成果曾被Nature子刊錄用,并被中科院首頁報道,在基礎科學與人工智能交叉領域有著深厚積累。
2024年,由于智能眼鏡等AI硬件的密集入場,讓陳凱敏銳捕捉到人類第一視角數據將迎來爆發,于是下場創業。
今天無論是英偉達、特斯拉,Figure AI 這些耳熟能詳的名字,或者國內外的新起之秀,越來越多押注到“用人類數據去增強模型的物理直覺”這條數據策略。這驗證了深度機智的判斷正確。
如何將物理常識提取,結構成機器能讀懂的形式?“數據標注”是深度機智自研的數據處理管線中最為關鍵的一環。例如一個拿蘋果的動作會被拆解成時間關系、空間關系、物體屬性、力學信息、目的推理、動作總結、軌跡描述這些7個維度。
那么模型因此“理解”物理世界了嗎?
他們觀察到了一個有意思的現象,在一個胡蘿卜抓取任務中自發“涌現”出變通與糾錯的能力。(在微調數據全是夾取成功案例的情況下),機械臂在觸碰到胡蘿卜時,自發了“推”的動作,試圖把胡蘿卜推進盤子,推了兩次,但嘗試無果,最后還是通過夾取完成了任務。
“預編程都搞不出這種靈活性”,陳凱說道。
頭腦發達,四肢才不簡單
這兩年的機器人,但凡外形能看出來像個人,你會發現它們下肢的運動表現遠遠好于上肢”。但是無論機器人是進工廠還是養老院,它們必須依靠上肢勞作——我們生活的日常環境,至少是現在,都是為了“人”設計。
“機器人必須像人嗎?”關于這個疑問有林林總總的討論。“不必要”,答案來自構型千奇百怪的機器“人”,它們針對特定場景任務的效率提升被開發出來。陳凱認為,當機器人大腦(也就是基座模型)足夠聰明之后,任何長尾狀況便能靠它自身的泛化能力去解決。至少,這為還在“循序漸進”一個個解鎖任務的機器人,提供了另一個“進化思路”。
在今天的中關村論壇上,深度機智將其新訓練出的基座模型 PhysBrain 開源。行業做法只是開源模型,但是此次深度機智也將數據集一并開源,并公布了模型架構和訓練方法。
![]()
傳統 VLA 訓練有個問題,具體任務微調會導致模型通用性變差。當基座模型不夠聰明,而又過于追求某個任務的成功率,調整神經元權重會導致壞結果,模型的特征表示從“理解物理世界”坍縮到了“記憶這幾個動作序列”。深度機智設計了全新 TwinBrainVLA “雙腦融合” 架構,用大白話說就是,左(理解世界)右(感知和執行)腦各干各的,必要時再通個氣兒。
自動駕駛“抬頭”錯以為黃燈是月亮,機器人一看到毛茸茸就以為是軟的。也就是說,如果數據中存在一些“非本質”的規律,機器人會迅速將其視為真理,跳過理解物理規律和操作邏輯。這也稱為,“視覺捷徑”。
視覺捷徑不僅讓機器人更迷糊,也更“偷懶”了。一旦把它常見的藍杯子換成紅的,就不“認識”杯子了。還有,機器人經常跳過語言指令,過于依靠視覺畫面做動作,可一旦視覺畫面嘈雜起來,它可能會將無關像素的移動與自己的任務關聯起來。
因此他們同時在模型訓練中創新性加入 LangForce 策略,打破“視覺捷徑”,模型不是“偷懶”不聽指令嗎?LangForce 將聽話和不聽話的結果對比展示出來,并強制模型“聽指令”后才執行。
![]()
以 PhysBrain 為基座、TwinBrainVLA 為架構、LangForce 為策略,PhysBrain 1.0 模型僅用千小時公開的人類數據就在最新的 SimplerEnv 測試中,跑出了 80.2% 的平均成功率,超越了行業標桿 Pi0.5 ( 57.1%),達到行業SOTA。而傳統 VLA 想要達到如此性能跨越需要用數萬小時真機數據的堆砌。同時在 RoboCasa 等國際權威測試中也登頂。
![]()
深度機智也首次對外展示了一臺全尺寸工業級擬人體機器人Prime。因為一開始對具身智能“通用性”的判斷和篤定,手部具備20個自由度,能實現毫米級精細化操作。
如果這兩年你參觀過大大小小的機器人展會,不免嘲笑過那些“累癱了”(續航和散熱跟不上高頻率的動作幅度)的硅基生物。
值得一提的是,團隊設計 Prime 時在關鍵的關節處引入了工業機型常用的自鎖設計,讓機器人實現不通電站立。好處是降低功耗,拉長機器人真正作業的時間。
![]()
圖說,機器人實際作業時,高負載下的姿態保持往往比動態運動更具挑戰,因為通電產生扭矩以抵消重力負載時,電能并未轉化為機械動能,而是幾乎全部轉化為熱能,耗電同時更會導致電機過熱,造成系統失穩
在擁有了擬人的大腦和身軀之后,這下好了,就連人類假裝上班這一招兒,也是被它們學去了。
作者:馬文
編輯:普通醬
配圖無特殊說明都來自深度機智
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.