機器之心發布

機器人已經學會看見世界，也開始學會摸到世界。但對于真實接觸操作而言，僅僅感知當前狀態遠遠不夠，機器人還需要預測物理世界接下來會如何變化。擦拭、插接、擰緊，這些人類幾乎憑感覺就能完成的動作，對機器人來說卻并非易事：接觸力度會變化，物體位置會偏移，反饋慢一步，就可能打滑、卡住或丟失。

近日，它石智航聯合新加坡國立大學、上海交通大學、中科院自動化所、復旦大學發布論文 “TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation”。該研究提出一種力條件觸覺世界模型，首次將腕部力覺作為未來觸覺狀態的先導信號，用于預測短時接觸演化，并將預測結果引入機器人動作生成過程。

• 論文鏈接：https://arxiv.org/pdf/2606.11184
• 項目主頁：https://tacforesight.github.io/ProjectPage/
• 視頻鏈接：https://www.youtube.com/watch?v=ZY2xBTaR6ek

視頻鏈接：https://mp.weixin.qq.com/s/5kGd-zsOCq_OahJhW88n3w

這意味著機器人不再只是依賴觸覺反饋進行事后修正，而是能夠提前理解接觸變化、預測接觸變化，并在物理世界發生變化之前主動調整動作。從 Reactive Feedback 到 Proactive Foresight，從 “摸到世界” 到 “預感世界”，TacForeSight 為接觸智能提供了一種更接近人類操作邏輯的新范式。

這是它石智航在機器人精細操作領域的又一項關鍵進展。今年 3 月，它石智航發布 OmniVTA 視觸覺操作框架和 OmniViTac 大規模視觸覺數據集，幫助機器人通過視覺與觸覺理解真實接觸；此次 TacForeSight 則進一步補上 “提前預判” 的能力，讓機器人不只是 “看見” 和 “摸到”，還能提前判斷接觸變化。

為什么機器人需要 “預判接觸”？

當前，行業多數接觸操作方法雖然融合了視覺、觸覺和力覺等傳感器，但本質上仍偏向 “看到問題后再反應”。然而，接觸并不是一個靜態狀態，而是隨時間連續演化的動態過程。這點在執行精細操作時的弊端尤其明顯，一旦反饋滯后，就容易出現卡頓、錯位甚至任務失敗。

例如，擦拭時，接觸壓力會隨著物體表面高度變化而改變；刷卡時，卡片姿態和軌道約束會持續影響滑動狀態；插接與鎖緊任務中，微小的位置偏差就可能導致卡滯、滑脫或接觸丟失。機器人如果只依賴當前時刻的觸覺反饋，往往已經慢了一步。

TacForeSight 的核心洞察正在于此：力覺與觸覺并不是重復信息，而是具有 “時間先后關系” 的信息。以人類操作為例，在擦拭、刷卡、插接等過程中，手腕往往會先感知整體受力趨勢，指尖隨后感知局部接觸細節，人也正是依靠這種連續反饋與提前判斷，完成動態調整。

腕部力覺與雙指觸覺在接觸轉變中的互補關系

從 “反應式反饋” 到 “主動式預判”

基于這一核心觀點，團隊并未停留在力覺與觸覺信息的簡單融合，而是進一步利用力覺信號預測未來可能發生的觸覺變化，打造了 TacForeSight 的核心模塊 Force-Guided Tactile World Model，即 TacForceWM。

不同于直接重建高維觸覺圖像的傳統思路，TacForceWM 將雙指觸覺場編碼為緊湊的觸覺潛變量，并利用高頻腕部力 / 力矩信號預測短時未來的觸覺演化。介紹顯示，該框架由兩個耦合階段組成：第一階段通過力條件觸覺世界模型預測觸覺動態，第二階段將預測到的觸覺動態作為接觸先驗，用于輕量級動作策略生成。

這種設計避免了高維觸覺生成帶來的計算開銷，同時保留了關鍵接觸動態信息，使觸覺世界模型能夠真正進入實時控制閉環。它本質上是在學習 “當前接觸如何演化為未來接觸”。因此，機器人不再只是知道自己此刻摸到了什么，而是開始預測接下來將會摸到什么。

TacForeSight 網絡架構圖

在獲得未來觸覺預測之后，TacForeSight 進一步提出 Predictive Tactile-Conditioned Policy，將未來觸覺作為動作生成的前瞻性接觸先驗。通過 Cross-Attention 機制，策略顯式建模當前接觸狀態與未來接觸趨勢之間的關系，使機器人在生成動作時不僅考慮 “現在的接觸”，也考慮 “即將發生的接觸變化”。

同時，觸覺驅動的自適應門控機制會根據任務階段動態調整視覺與觸覺的權重：在接觸密集階段，策略更依賴觸覺進行精細控制；在遠離接觸階段，則更多依賴視覺提供全局信息。論文摘要也明確提到，該方法通過緊湊潛空間預測實現高效實時推理，適用于高頻機器人操作控制。

真機驗證各項性能優異，實時推理逼近人類速度

為進一步驗證 TacForeSight 的性能，論文在真實機器人平臺上開展實驗。實驗系統包括機械臂、夾爪、相機、六維力 / 力矩傳感器以及雙指觸覺傳感器，覆蓋花瓶擦拭、卡片滑動、管件插入、燈泡鎖緊、柔性線束插入五類典型接觸密集型任務，并進一步設計了高度、角度、姿態、光照等高擾動場景，以驗證模型的任務完成率與魯棒性。

五類真機任務操作過程與三類動態擾動任務的操作過程

實驗結果顯示，TacForeSight 在五個標準接觸任務上的平均完成率高達近 80%，明顯優于純視覺模型、簡單視覺 - 觸覺 - 力覺融合、KineDex、FoAR 和 RDP 等基線方法。在動態擾動場景下，TacForeSight 分別在高度擾動、角度擾動和姿態擾動任務中取得 90%、85%、85% 的成績，平均達到 86.7%，展現出強大的擾動恢復能力。

尤其值得注意的是，TacForeSight 支持 20Hz 的實時推理，這意味它不只是離線展示的預測模型，而是能夠真正嵌入機器人高頻閉環控制、以接近人類操作的速度完成基于力和觸覺的世界模型。

為了進一步解釋模型有效性，論文對學習到的觸覺潛變量進行了可視化分析。結果顯示，在燈泡鎖緊和花瓶擦拭任務中，預測觸覺潛變量會比當前觸覺潛變量提前約 200ms 出現接觸相關變化。這說明模型并不是簡單記憶動作軌跡，而是學到了接觸狀態隨時間演化的趨勢。

此外，在按壓、扭轉、滑動等未見過的力 - 觸覺交互片段上，觸覺編碼器提取出的潛變量在 t-SNE 可視化中形成了清晰可分的簇，表明模型具備一定的接觸模式判別能力，能夠捕捉不同物理交互下的局部形變和受力變化。

觸覺潛變量時序預測與接觸模式聚類結果

這也說明，機器人要真正實現靈巧操作，關鍵不在于傳感器的多少，而是要真正理解不同感知信號之間的關系：力覺提供全局先導信號，觸覺提供局部精細反饋，而世界模型則將二者連接成可預測的接觸動態。

從 OmniVTA 到 TacForeSight，它石智航展示了一種全新的機器人智能范式：從看見世界、摸到世界，到預感世界；從 Reactive Feedback，到 Proactive Foresight；從感知當前狀態，到預測未來狀態；從離線重型預測模型，到能夠進入實時控制閉環的輕量級觸覺世界模型。

未來，隨著視覺、觸覺與力覺等多模態感知進一步融合，機器人將逐漸學會像人一樣預判世界、適應世界，并在復雜物理環境中完成更穩定、更精細的操作。