移動機器人Wang利用深度強化學習算法和視覺感知相結合的方法完成非結構環境下的移動

中科院沈陽自動化所的Wang利用深度強化學習算法和視覺感知相結合的方法來完成移動機器人(如圖3(a))在非結構環境下的移動操作[7]。作者將移動操作過程看做一個標準的強化學習問題，首先通過雙目相機通過DOPE獲取目標物體的6D姿態p以及機器人本體的當前狀態st,接著通過基于PPO的強化學習算法預測機器人的本體，機械臂以及機械手的運動并控制機器人本體運動，最后機器人的運動狀態st+1和響應rt，其中響應主要包含了整個系統的控制響應rctrl、機械手末端的位置響應rdist以及抓取狀態rgrasp(如圖3(b))。最后作者在仿真環境和真實環境下測試了不同高度下的抓取成功率，在仿真中，立方體的抓取效果最好達到了90%的成功率，而球類物體較差僅有60%左右，而在實際測試過程中，在姿態估計正確的前提下可實現目標物體的成功抓取(如圖3(c)(d))。