腦機啟偵 | 觸覺反饋在小提琴二重奏中的應用（03.30）

近些年來，圍繞人機協同和人類協作機制的研究持續受到廣泛關注，這些研究多圍繞著視覺和聽覺展開，而觸覺作為人體的一種重要感知形式，卻常常被忽略。觸覺可以直觀的反映交互過程中的力與運動信息，能夠讓協作個體更快速、更直觀地感知彼此動作的一致性與偏差，可以為更加高效、自然的人機協同與人際協作提供重要支撐。因此，如何借助觸覺信息構建更貼近自然交互的協作系統，已成為可穿戴外骨骼與康復工程等人機協同或人類協作領域的重要研究方向。

近日，來自羅馬生物醫學自由大學的Francesco Di Tommaso團隊以雙人小提琴演奏為實驗場景，提出了一種基于可穿戴上肢外骨骼的雙人觸覺同步方法，通過機器人介導搭建雙向觸覺反饋通道，實現了雙人協同動作信息的實時感知與交互傳遞，實驗結果表明該方法相較于視覺反饋可更有效地提升雙人協同作業的表現。相關論文作為封面文章發表于最新一期的《Science Robotics》。

01研究背景RESEARCH BACKGROUND

聯合行動（Joint Actions）指多人共同參與某項活動或決策的行為，其核心在于彼此之間高效的感知與動作配合。目前人們大多依靠視覺、聽覺來實現聯合行動，而觸覺可以直接傳遞力量和動作信息，能夠快速反映協作是否同步，具有獨特優勢，卻很少被使用。

雖然已有研究證明，觸覺交互能夠有效提升人類協作的效果，但這些結論大多來自實驗室環境下的追蹤預設軌跡、按固定節奏完成動作等任務，具有相似的結構化和約束性，缺少實際應用場景下的驗證。因此，如何將觸覺反饋延伸到更具動態性、自然性和非結構化的聯合任務中，成為了推動觸覺交互技術在聯合行動中進一步應用的迫切需求。

02系統設計SYSTEMS DESIGN

本研究開發了一套機器人系統，包括兩套定制化動力上肢外骨骼，可在肩關節和肘關節處實現雙向觸覺反饋。每套外骨骼均可捕捉演奏者的關節角度軌跡，并通過剛度和阻尼系數，構建與另一位演奏者軌跡偏差成比例的粘彈性扭矩場（Viscoelastic Torque Field），將兩位演奏者的動作進行機械耦合，傳遞彼此位置的觸覺信息，從而模擬肢體間的直接物理接觸（圖A）。

在硬件層面，系統在肩關節和肘關節各設置1個主動自由度，兩者均采用串聯彈性驅動器（SEA），從而在交互過程中提供固有柔順性與安全性。主動自由度分別沿肘關節屈伸軸以及肩關節復合平面（屈伸+內外旋）傳遞觸覺反饋；同時，系統還配置了一個被動肩關節重力補償機構（PSGU），用于支撐肩部屈伸運動并抵消遠端模塊重量。除此之外，外骨骼還集成了被動自由度和可調結構，以實現機器人關節與人體關節的精確對齊，降低穿戴過程中的運動干擾（圖B）。

在控制層面，系統采用分層控制架構，包括高層、中層和底層控制。高層將系統區分為無交互與雙向交互兩種模式：無交互模式下期望扭矩為0，使用者可以自由活動手臂；雙向交互模式則通過控制兩套外骨骼模塊構建使用者間的虛擬耦合——即不依靠物理連接，僅通過電機力反饋在兩人之間建立實時的力學聯動與觸覺約束。中層控制在兩套外骨骼中對稱設計，其主要作用為通過虛擬剛度和虛擬阻尼，將期望關節角與實測關節角之間的偏差轉化為期望扭矩輸出。底層控制則負責扭矩閉環補償，針對不同關節采用專屬控制結構，以確保各執行單元達到預期輸出（圖C）。

03實驗設計DOE

為評估觸覺反饋對人際協同的影響，本研究共招募40名小提琴演奏者，按專業水平分為專業組和業余組，并配對組成20組二重奏。實驗過程中，兩位演奏者相對而坐，周圍布置紅外攝像機和麥克風，用于同步采集動作與音頻數據；在無視覺條件下，二人之間會設置幕布阻擋視線（圖A）。實驗所用任務是一段專門設計的雙人小提琴樂曲，以保證不同條件下任務的一致性（圖B）；同時，受試者全程穿戴動作捕捉服，并在身體、小提琴和琴弓上布置標記點，用于記錄演奏過程中的運動信息（圖C）。.

整個實驗流程分為基線測試、外骨骼熟悉訓練、正式多模態實驗和后測四個階段。基線測試為受試者在未佩戴外骨骼的情況下完成基線演奏，隨后佩戴外骨骼進行短暫熟悉訓練。正式多模態實驗共包含6個模塊，在兩種速度下交替進行；每個模塊中，演奏者都需要在A、AH、AV、AVH（A：聽覺；V：視覺；H：觸覺）四種感覺反饋條件下各演奏一次，其中AH和AVH條件下外骨骼開啟雙向觸覺交互，而A和AV條件下系統處于無交互的透明模式。后測階段是在所有正式實驗完成后，受試者再脫下外骨骼進行，以排除佩戴設備帶來的適應、疲勞或練習效應等無關干擾，確保實驗測得的協同提升真正來源于雙向觸覺交互本身（圖D）。

04實驗分析EXPERIMENTAL ANALYSIS

為全面且客觀地評價雙人協同演奏的配合效果與音樂表現，研究團隊從運動學與聲學兩個維度展開分析，通過運動學指標量化演奏者的動作同步性與協同穩定性，借助聲學指標評估樂曲節奏、音準等音樂表達質量。下面對兩種實驗結果進行分析：

· 運動學分析

研究團隊從空間協同性與時間協同性兩個維度進行評估（圖A）。通過主成分分析（PCA）和偏最小二乘法（PLS）提取琴弓和關節的運動主成分，將兩位演奏者主成分的平均絕對誤差作為空間協同性指標，將經希爾伯特變換后的信號相對相位作為時間協同性指標。對于空間協同性，指標值越小表示兩人動作越接近；對于時間協同性，指標值越高則表示兩人動作在時序上越同步。

在空間協同性維度，實驗結果表明，觸覺反饋條件在琴弓運動與關節運動兩個層面均表現出更優的協同效果（圖B、D）。這表明，機器人介導的觸覺反饋能夠有效降低雙人演奏過程中運動主導成分之間的空間偏差，從而增強演奏者之間的空間協同性。此外，AVH條件在各項空間協調指標上通常取得最優表現，說明觸覺信息并未對原有協同機制產生干擾，而是能夠作為額外的感覺輸入與其他信息通道共同作用，進一步提升雙人合奏中的空間協調水平。

在時間協同性維度，觸覺反饋同樣表現出顯著的促進作用（圖C、E）。無論是在關節運動層面的時間耦合指標，還是在琴弓運動層面的時間對齊指標上，含觸覺反饋的條件整體上均優于不含觸覺的條件。這說明，觸覺線索不僅能夠改善演奏者之間的空間配合，還能夠增強其在動作時序上的同步性，從而提升雙人協作的整體穩定性。

· 聲學分析

研究人員從頻譜亮度和動態一致性兩個方面評估合奏的聲學表現，其中前者反映音色相關特征，后者反映兩位演奏者在響度變化上的同步程度。聲音的亮度和響度分別通過頻譜重心以及每位二重奏成員小波相干性的RMS（均方根）進行估計（圖A）。整體結果表明，在相同聲學環境下進行比較時，加入觸覺反饋后，雙人演奏在動態一致性上整體表現更好，也就是說，兩位演奏者在音樂強弱變化上的配合更加一致（圖B）；相比之下，觸覺對頻譜亮度的影響并不如動態一致性那樣穩定，但總體上并未表現出對聲音質量的破壞。

05總結SUMMARIZE

本研究以小提琴二重奏協同這一任務為研究對象，構建了一套基于雙向耦合上肢外骨骼的機器人觸覺交互系統，實現了兩位演奏者實時觸覺連接。研究證明：在支持聯合行動的精細時空協調方面，機器人介導的隱式觸覺反饋，不僅比傳統的視覺線索更為迅速，而且更為準確和有效。

這項研究不僅驗證了觸覺在人類復雜聯合行動中的獨特價值，也拓展了外骨骼從助力裝置向人際感覺運動信息中介的功能邊界，為音樂訓練、技能傳授、康復輔助及遠程協作等場景中的新型人機協同范式提供了重要啟發。

論文信息：

《Robot-mediated haptic feedback outperforms vision inviolin duo coordination》

來源 | 《SCIENCE ROBOTICS》、CAAI認知系統與信息處理專委會、腦機接口社區

浙大科技園啟真腦機智能產業化基地是在浙大控股集團領導下，由浙江大學科技園發展有限公司與杭州未來科技城管委會共建，圍繞腦機智能產業主體，輻射腦機+生命健康、腦機+智能制造、腦機+新一代信息技術、腦機+新材料等領域的專業化特色產業基地，由杭州啟真未來科技發展有限公司負責全面運營。

基地依托浙江大學在腦機智能方面的學科優勢，以腦機智能作為核心科技支撐，貫徹浙江大學國家大學科技園“有組織科技成果轉化、有靶向科技企業孵化、有體系未來產業培育”的服務體系，致力于打造腦機智能領域具備成果顯示度、區域影響力的產業化高地。