2026年夏天，機器人圈被一個近乎“黑色幽默”的實驗結果炸開了鍋。

一支由斯坦福教授李飛飛、英偉達具身智能負責人Jim Fan、佐治亞理工學院助理教授徐丹飛領銜，聯合Pieter Abbeel、Jitendra Malik、Ken Goldberg、Trevor Darrell等多位頂尖學者的“超級團隊”，在一項消融對照實驗中遇到了一個百思不得其解的現象。

他們在一個名為π0.5的行業經典模型上做了一件看似理所當然的事——把觸覺信號作為額外信息輸入給模型。按常理，多一種感知應該多一分精準。結果卻令人瞠目：據論文中的消融實驗顯示，任務成功率從17%驟降至6%。

加了觸覺，機器人反而“不會干活”了。

這個反常結果，像一記耳光打在了整個具身智能行業的臉上。過去幾年，業界的主流做法是把一切感知信息——視覺、語言、觸覺——統統轉成同一種格式塞進同一個大模型里，相信“數據多了自然智能涌現”。T-Rex論文用一組冰冷的數據證明：這條路，可能從一開始就走偏了。

觸覺為什么成了“豬隊友”？

問題出在哪里？論文作者們給出了一個簡潔而有力的診斷：頻率錯配。

據論文及相關技術解讀，視覺是一種“慢感知”。攝像頭以大約每秒5幀的頻率掃描世界，提供的是穩定的場景語義——知道物體在哪里、長什么樣。但觸覺是一種“快感知”。當指尖接觸到物體的瞬間，壓力、滑動、形變等信息以毫秒為單位變化，觸覺反饋天然需要在每秒20次甚至更高的頻率下才能發揮作用。

打個比方：這就像讓一個長跑運動員（視覺）和一個短跑運動員（觸覺）在同一條跑道上以同樣的速度跑步。長跑運動員覺得節奏太快跟不上，短跑運動員覺得節奏太慢憋得慌。把這兩種時間尺度完全不同的信號強行塞進同一個以低頻運行的Transformer里，結果不是“1+1=2”，而是“1+1<1”——觸覺的高頻優勢發揮不出來，反而把視覺已經學好的表征攪得一團糟。

換句話說，不是觸覺沒用，是用錯了地方。

面對這個結構性矛盾，研究團隊沒有在原有框架上修修補補，而是選擇推倒重來。

他們提出了一套名為T-Rex的全新框架。T-Rex既是“觸覺反應式靈巧操作”（Tactile-Reactive Dexterous Manipulation）的縮寫，也暗合“霸王龍”之意——雖然霸王龍的前肢短小，但這篇論文要解決的，正是一雙靈巧手如何真正“感知”世界。

T-Rex的核心思路可以概括為一句話：別再讓觸覺和視覺搶同一條算力通道了，給它單獨開辟一條獨立的高速公路。

具體怎么實現？論文提出了一套混合Transformer專家架構（Mixture-of-Transformers，MoT） 。所謂“混合”，是把機器人的控制權拆解給三位各司其職的專家；所謂“變速率”，是讓三位專家各跑各的時鐘頻率，互不干擾。MoT中的“M”恰好同時代表了這兩層含義。

第一位專家負責“看路”和“預判”——它叫潛在專家。 它的任務是處理視覺和語言信息，預測“接下來場景會變成什么樣”，為后續動作提供時間上的上下文。說白了，它在提前想好下一步會發生什么。

第二位專家負責“畫草圖”——它叫動作專家。 它從一片“噪聲”開始，通過一步步去噪，生成一個大致的動作走向——“手往這個方向移動”。這個模塊的運行頻率大約是每秒5次，對應視覺感知的天然節奏。

第三位專家負責“微調”——它叫觸覺專家。 它不參與前期的全局規劃，只在接觸發生的瞬間啟動，以每秒20次以上的高頻實時讀取指尖傳來的力和形變信號，在動作專家畫好的“草圖”上做毫秒級的精細修正——“力道輕一點”“往左偏一毫米”。

三個專家的協同流程是這樣的：動作專家先跑完前幾步，畫出一張動作草圖；觸覺專家從某個中間節點接手，利用最新的觸覺數據完成剩余步驟的精化。動作專家負責“低頻去噪”，觸覺專家負責“高頻精化” 。潛在專家全程“看路”，為兩者提供視覺上下文。三位專家各跑各的時鐘，各司其職，最后協同輸出完整的動作。

T-Rex 的 Mixture-of-Transformer-Experts（MoT）架構。（圖片來源：T-Rex）

為了讓觸覺專家真正“讀懂”觸覺信號，論文還專門設計了一套時空觸覺編碼器。核心是一個VQ-VAE模塊——你可以把它理解為一個“翻譯官”，把過去十幾幀的時序力數據壓縮成離散的“觸覺詞匯”，既能捕捉力的變化趨勢，又能抵抗傳感器的信號漂移。這樣一來，觸覺專家接收到的就是一套標準化的“觸覺語言”，而非雜亂無章的原始信號。

這套設計的本質，就是給高頻觸覺信號辟出一條獨立的通道，不讓它被低頻的視覺節奏拖累。 三個專家各跑各的頻率，各管各的事，互不干擾，最后再協同輸出一個完整的動作——既保留了視覺對全局的把控，又徹底釋放了觸覺在接觸瞬間的敏捷反應能力。

數據層面同樣下足了功夫。團隊構建了一個100小時的觸覺同步數據集，涵蓋200多種日常物品、22種動作基元（抓取、擠壓、插入、擦拭、折疊等）、7700多條運動軌跡。與傳統做法不同，這個數據集不是針對某個特定任務錄制的，而是圍繞“動作×物體”的組合來組織——22個動作搭配200多種物品，通過排列組合覆蓋盡可能多樣的接觸場景。這讓模型學到的是通用的觸覺-動作對應關系，而非死記硬背特定任務的模板。

訓練策略同樣極具層次感。團隊先用22,889小時的人類第一視角視頻進行大規模預訓練，讓模型理解人類的手部交互模式；再用上述100小時的機器人觸覺數據進行跨模態對齊；最后僅需少量特定任務示范即可完成專項能力的激活。這種漸進式訓練的好處是，觸覺能力不需要從頭學起，而是在視覺運動先驗已經建立之后，以相對少的數據“嫁接”進來。

12項“刁難級”任務，30個百分點的跨越

這套架構到底有沒有用？論文在12項專門為“刁難”機器人而設計的精細操作任務上進行了嚴苛測試——翻書頁、轉移生雞蛋、擦盤子、擠牙膏、分紙杯、分揀麻將、開鎖、填藥盒、模擬化學滴定、抽卡片、發撲克牌、擰燈泡。每一項都要求機器人對接觸力進行動態的、即時的調節。

T-Rex 完成翻書等接觸密集型任務（圖片來源：T-Rex）

最終結果令人振奮：T-Rex相較此前最強的基線模型，在這12項任務上取得了超過30%的平均成功率提升。在翻書頁、分紙杯等對力度極為敏感的任務中，T-Rex的表現從“幾乎不可用”躍升到了“初步具備實用價值”。

進一步的消融實驗反向印證了設計的精妙：一旦切除所有觸覺輸入通道，系統成功率出現斷崖式下跌；而如果強行取消異步運行機制，讓觸覺被迫降頻與視覺同步，性能同樣會顯著劣化。這恰恰說明，T-Rex的成功并非單純來自“加了觸覺”，而是來自“用對了觸覺”——給它獨立的節奏、獨立的通道、獨立的處理邏輯。

T-Rex這篇論文的價值，遠不止于一組漂亮的實驗數據。它用一個極具說服力的反例，向整個具身智能行業發出了一個明確的警示信號：

“萬物皆token、一切進大模型”的通用范式，并不天然適用于所有感知模態。

視覺和語言是“慢變量”，適合放在同一個巨大的Transformer里做全局關聯推理；但觸覺是“快變量”，它關乎物理接觸和即時反饋，需要單獨的高頻閉環控制回路。強行把兩者塞進同一個模子，結果不是融合，而是污染。

這讓人聯想到神經科學中經典的雙流假說——視覺腹側通路負責“識別是什么”，背側通路負責“指導怎么做”。T-Rex的混合專家架構，某種程度上是在機器人身上復刻了這種生物演化的高級智慧。

當然，論文也坦誠了當前的局限性：對于需要數秒級連貫協調的復雜操作，純粹的行為克隆仍受限于示范數據的覆蓋度；當前觸覺感知僅限于指尖而非全手掌，且傳感器標定與漂移問題仍是工程痛點。但這些屬于“成長中的煩惱”，并不妨礙T-Rex所確立的范式意義。

這篇論文傳遞的核心信息已經無比清晰：別再讓機器人光靠“瞪大眼睛看”來干活了，是時候讓它們學會“伸出手去摸”。 觸覺不應是視覺的附庸，而應是一條獨立的、與視覺平起平坐的物理感知通道。

那個“17%跌到6%”的反常實驗，或許正是機器人從“看見世界”走向“感知世界”的關鍵轉折點。（本文首發鈦媒體APP，作者 | 硅谷Tech-news，編輯 | 趙虹宇）