MANUS已被整合入Isaac Teleop平臺中

在今年的英偉達GTC展會上，英偉達帶來了Isaac Teleop。Isaac Teleop是一個跨模擬和現實世界系統的遠程操作和數據收集的統一框架，標準化了人類輸入如何轉化為機器人動作。

全新版本的Isaac Teleop在機器人領域帶來了更廣泛應用。隨著該領域向具身智能和通用機器人政策發展，瓶頸不再僅僅是模型架構，而是高質量人類演示數據方向轉變。NVIDIA的Isaac生態系統一直在不斷發展，其提供了一個端到端的堆棧，涵蓋模擬(Isaac Sim)、學習(Isaac Lab)和遙操作(Isaac Teleop)。

Isaac Teleop與Manus的整合

MANUS作為高保真手部跟蹤輸入設備被集成到Isaac Teleop中，以高維形式捕捉精確的手部運動，供機器人和模擬環境實時使用。

通過采集精確交互動態，例如手指卷曲、收縮調制和微調，MANUS手套在工具使用、抓握適應和雙手協調等任務中可實現靈巧操作。這使得遙操作工作流程能夠包含對復雜操作至關重要的詳細手部行為。

系統架構和集成

從系統的角度來看，MANUS通過一個專用插件集成到Isaac Teleop中，作為遙操作堆棧中的輸入設備。手和手指的運動被實時捕捉，并通過重定目標管道進行處理，以生成機器人動作。

Isaac Teleop標準化了模擬和真實世界系統之間的管道，在兩種環境中實現了一致的控制和數據收集。人類運動被翻譯成機器人指令，同時能夠收集演示數據。

MANUS可以捕捉精細的手和手指運動，提高遠程操作精度和數據質量。MANUS SDK*支持將跟蹤數據傳輸到Teleop框架中。

工作流程和集成優勢

MANUS與Isaac Teleop的集成簡化了遙操作工作流程的構建和擴展。MANUS手套可以通過插件連接到Isaac Teleop，而無需為每個系統建立定制的集成管道。這減少了集成工作，并支持跨不同機器人和環境的重復使用。

此外將Manus采集到的數據投入到機器人訓練使用，還提高了模擬和真實世界系統之間的一致性。相同的MANUS設置可以在模擬和真實世界環境中重復使用，以減少數據收集的差異，并支持更有效的模擬到真實的工作流。

使用MANUS捕獲的演示可用于學習管道，高保真手指跟蹤保留了靈巧操作所需的細節，并提高了訓練數據的質量。

Isaac生態系統中的MANUS：從遙操作到可擴展訓練

在Isaac生態系統中，Isaac Teleop是Isaac lab中連接模擬、數據收集和學習的更廣泛數據管道的一部分。MANUS通過在模擬和真實世界環境中提供高保真的手部數據輸入，增強了這一渠道。

通過Isaac Teleop收集的演示可以集成到學習管道中，為靈巧手操作任務保留細粒度的運動。通過與Isaac lab整合，開發人員可以使用真實的人類運動來驅動虛擬機器人手部，從而在將策略部署到物理機器人投入生產之前，在模擬中實現快速原型制作、驗證和數據生成。

Isaac Teleop和Isaac Lab共同提供了一個緊密集成的工作流程，從人工演示到策略培訓和在真實硬件上的部署。最近NVIDIA主導的研究自我量表強調了大規模人類數據在訓練靈巧機器人策略中的重要性。在這些方法中，準確的手和手指運動成為學習的關鍵輸入信號。MANUS解決方案能夠捕捉高保真的人體運動，支持小規模的遠程操作數據收集和新興的大規模人機學習工作流。