華南理工大學羅晶博士和楊辰光教授團隊發文提出遙操作機器人交互感知與學習算法

1、論文背景 

目前遙操作機器人在醫療臨床、康復、深海探測、救援救災等諸多領域得到了廣泛的應用（圖1）。但是在操作過程中，由于人機交互性能不足、感知能力不佳，機器人只能完成一些簡單、重復的任務。例如，操作人員控制機器人執行pickup任務[1]和維護任務[2]。為了解決上述問題，我們提出了一種新型的人機交互感知機制和學習算法來提高遙操作機器人的操控性能。首先，為了增強遙操作系統的感知能力，我們設計了一個基于肌肉活性的人機交互界面，提取操作者的肌電信號，用于對外界環境做出反應。通過遙操作系統的觸覺反饋和視覺反饋，人類操作者可以自然地作出反應，發出正確的控制命令。肌電信號的強弱隨著操作任務的不同而不同，同時人機協作過程中的肌肉活性變化、機器人末端執行器的軌跡、操作者的運動，都可以用來表征人機協作任務和意圖。機器人可以通過學習人類的操作行為來提升智能化程度，學習的內容不僅包括運動軌跡，還有人類執行任務時的剛度。通過學習人類的操作行為，遙操作機器人可以獨立完成重復性任務或者不確定性任務。

圖1機器人遙操作示意圖

2、系統概述

如圖2所示，我們利用從端機器人的末端執行器來完成執行人機協作任務，采用隱半馬爾科夫模型獲取人機協作任務模型。在示教過程中，操作者可以通過生物信號感知界面感知操作過程中外力的變化，實時調整所需的增益/剛度，并將其映射到從端機器人的控制器中。示教過程中主要考慮了任務軌跡、剛度和力等數據，通過任務學習與復現階段，形成了人在閉環系統中的技能建模方案。如圖3所示，如圖該框架中將人機協作任務分為兩個階段：學習階段和復現階段。在學習階段，基于隱半馬爾科夫和混合高斯模型方法可以對人機協作任務進行學習，建立基于運動軌跡的生成任務模型。在復現階段，基于隱半馬爾科夫和混合高斯回歸方法可以對生成模型的任務軌跡進行修正，從學習的任務中復現結果[3]。

3、實驗分析

操作者通過Touch X控制Baxter機器人執行繪圖任務，整個任務過程進行3次人機協作示教，繪圖任務在一張大小為210mm297mm (A4)的二維空間內進行。圖4(a)所示為繪畫任務的運動軌跡和剛度軌跡。灰色曲線為人機協作繪畫的軌跡，紅色曲線為任務生成階段的結果。生成階段可以劃分為6個步驟(I-VI)和三個子任務。在步驟I和II中，Baxter機器人開始繪圖子任務1。步驟II和步驟III，Baxter機器人右臂末端離開紙張進行下一次繪圖操作。類似地，子任務2和子任務3分別由步驟III到IV和步驟V到VI完成。在任務學習階段，操作者的手臂剛度是隨著繪畫任務過程的變化而變化。如圖4(b)所示，Baxter機器人采用生成的剛度執行繪畫任務。從圖4(b)中的(a)-(f)可以得出，Baxter機器人利用生成的模型成功的完成了繪圖任務。

4、分析與結論

本文提出了一種新型的觸覺肌電感知機制和基于隱半馬爾科夫模型-高斯混合理論的機器人學習框架。操作者通過調節自身的肌肉活性來應對外界環境的變化，同時觀察和記錄人機協作過程中的肌肉活動情況。利用采集的肌電信號和提出的任務學習框架，遙操作機器人系統可以自然地與外界環境進行交互、編碼人機協作任務和生成任務模型，從而提升系統的類人化操作行為和智能化程度。

參考文獻：
[1] Penco L, Scianca N, Modugno V, et al. A MultimodeTeleoperation Framework for Humanoid Loco-Manipulation: An Application for the iCub Robot. IEEE Robotics & Automation Magazine, 2019, 26(4): 73-82.
[2] MaddahiY, Zareinia K, Sepehri N. An augmented virtual fixture to improve task performance in robot-assisted live-line maintenance. Computers & Electrical Engineering, 2015, 43: 292-305.
[3] Yang C, Luo J, Liu C, et al. Haptics electromyography perception and learning enhanced intelligence for teleoperated robot. IEEE Transactions on Automation Science and Engineering, 2018, 16(4): 1512-1521.