我們構建了一個基于 Quest 3 的 VR 遙操系統(tǒng)，該系統(tǒng)能夠同時支持 DISCOVERSE 仿真環(huán)境與 MMK2 真機的操控，實現了從虛擬環(huán)境到真實機器人系統(tǒng)的無縫對接。 ? 基于 VR 實現的遙操系統(tǒng)具有良好的擴展性和便攜性，為多場景應用提供了靈活的操作方式。 ? 該 VR 遠程操控系統(tǒng)可用于在 DISCOVERSE 仿真環(huán)境和 MMK2 真機采集數據，并將采集到 的數據作為模仿學習中的示教數據，從而提升機器人學習與控制的效率——羅凱駿、劉子聿、馮儒

一、研究背景

? 基于learning的方法在機器人領域引發(fā)了變革，顯著提高了機器人在移動、操縱等方面的能力。 近期研究進一步推動了多模態(tài)學習以及預訓練模型的高效微調等任務。而這些研究的核心需求 是收集示教數據，以支持模型訓練和優(yōu)化。

? 通過遙操可以收集示教數據，并提供流暢的軌跡數據，使學習到的策略能夠推廣到新的環(huán)境和任 務中。因此當下遙操一種收集數據的重要手段

二、目前主流方法

外骨骼：需要一個從臂來控制主臂，成本高，通用性較差且不便移動

手柄：操作復雜，上手難度較高

以上方法都有兩個明顯缺陷： 1. 操作者和真機必須在同一地點，不支持遠程操作 2. 操作者與機器人的觀測不同，難以支持第一人稱視角，操作者很難確保 采集到需要的corner case數據

VR ：VR開發(fā)靈活，可以適配多機器人平臺，易于拓展 VR遙操作方案無需穿戴外骨骼等設備，安全且低成本 VR遙操以第一人稱采集示教數據，更容易確保示教數據的質量

三、研究思路

基于DISCOVERSE仿真環(huán)境及真機，使用VR遙操作采集數據，并訓練ACT算法

使用quest3在DISCOVERSE中采集仿真器數據

使用quest3在mmk2真機上遙操采集數據

混合模擬環(huán)境自動生成和VR遙操采集數據訓練

在仿真環(huán)境以及真機上驗證模型的性能

四、VR遙操技術方案

VR遙操實現 使用ROS-TCP-Endpoint與ROS-TCP-Connector實現VR、仿真器 和真機之間的網絡連接；同時通過開發(fā)Unity程序進行圖傳，實 時展示VR遙操的效果。 通過ROS-TCP-Endpoint和ROS-TCP-Connector建立連接，可以實 時發(fā)送與接收ROS2中的話題，同時我們通過話題的實現圖傳與 VR數據的傳輸。 對于機器人底盤的移動以及平臺的升降，我們使用Quest 3 手柄 的搖桿實現；夾爪的開閉通過手柄上的按鍵實現；最后機械臂 的移動通過獲取手柄的末端位姿，并通過IK結算得到機械臂對應的關節(jié)角實現。

五、后續(xù)工作

? VR 遠程操控系統(tǒng)已成功實現對夾爪、脊柱及底盤的遙操，但在手臂部分仍存在一定問題。 鑒于當前的操縱任務相對簡單，系統(tǒng)未涉及復雜的超限問題的處理。然而，為了進一步提 升系統(tǒng)的可靠性與魯棒性，該問題仍需深入研究與解決。

? 設計數據采集和實驗方案，采集真機與仿真數據進行訓練，從中對比模型的效果，為后續(xù) 優(yōu)化提供思路。