北京
由Meta FAIR開發的OSMO手套通過在人類演示過程中捕捉豐富的觸覺反饋，這一用例的實現標志著人類到機器人技能轉移的突破。
挑戰
大多數在演示管道中學習的機器人嚴重依賴于基于視覺的手部跟蹤。當指尖被物體、工具或表面遮擋時，這些方法在真實世界操作中就會失效。同時，視覺無法推斷壓力、剪切力或抓握穩定性等接觸力。因此在沒有觸覺信息的情況下訓練的策略經常會因不一致的壓力應用、滑動或在執行期間失去接觸而失敗。
解決辦法
OSMO觸覺手套在指尖和手掌上集成了12個三軸磁性觸覺傳感器，以捕捉法向力和剪切力。為了防止接觸期間視覺遮擋頻繁發生的手部跟蹤退化，其選用了MANUS Metagloves與OSMO系統集成。
MANUS Metagloves 手套可提供不依賴于攝像機可視性的直接手指關節感測，提供干凈的關節水平運動學而不會限制人類雙手的自然靈巧性，并且可在不干擾OSMO磁性觸覺傳感器的感測頻率下操作。這種組合確保了在遮擋情況下連續和準確的手姿態跟蹤，實現了手部運動和觸覺力之間的可靠對準，并使得觸覺驅動的人到機器人的技能轉移更加實用和穩定。
結果
MANUS和OSMO系統在使用帶有靈巧機械手的Franka機械臂的接觸豐富的擦拭任務上進行評估。機器人使用MANUS手套和OSMO觸覺反饋捕獲的人類演示上進行訓練，而無需使用人機交互數據。
利用MANUS手部跟蹤和觸覺感知的策略OSMO實現了72%的成功率，相比之下，只使用視覺和本體感知的成功基線只有56%。觸覺感知策略消除了與接觸相關的故障模式，如壓力不足、施力不均勻和抓地力喪失。其余的失敗主要是由于任務覆蓋不完整，而不是因為接觸執行沖突，這突出了MANUS手套推動穩定可靠的觸覺驅動機器人學習的重要性。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
