Open-TeleVision源码解析——宇树摇操方案的重要参考：VR控制人形机器人采集数据
内容提要
七月在线正在开发多个订单，利用宇树、傅利叶和乐聚的开源库，研究人形机器人技术。文章介绍了如何通过Apple Vision Pro进行遥操作，配置环境及相关软件，以实现对宇树H1_2机器人的控制。
关键要点
-
七月在线正在开发多个订单，主要基于宇树、傅利叶和乐聚的开源库进行人形机器人技术研究。
-
文章介绍了如何通过Apple Vision Pro进行遥操作，控制宇树H1_2机器人。
-
开发者需配置Ubuntu环境，安装相关软件库以实现双臂逆运动学求解。
-
使用pinocchio和CasADi库进行逆运动学计算，确保安装正确版本的pinocchio。
-
配置unitree_dds_wrapper以实现计算机与机器人之间的通信。
-
在TeleVision项目基础上修改配置，使用Isaac Gym进行测试。
-
生成证书并配置Apple Vision Pro以进行WebXR相关功能的启用。
-
硬件适配包括Apple Vision Pro、计算机、H1机器人及灵巧手等。
-
启动遥操作程序前需开启灵巧手和图像推流服务。
-
avp_teleoperate的代码结构与TeleVision一致，包含遥操作主要文件和IK解算相关文件。
延伸解读
开发环境配置的重要性
在进行人形机器人遥操作时，开发者必须仔细配置Ubuntu环境和相关软件库。特别是pinocchio和CasADi库的版本，错误的版本可能导致逆运动学计算失败，从而影响机器人的控制精度。确保按照文中提供的步骤进行安装，可以有效避免潜在的技术问题。
硬件适配的关键因素
成功实现遥操作不仅依赖于软件配置，硬件的适配同样至关重要。Apple Vision Pro、计算机和人形机器人之间的兼容性直接影响操作的流畅性和准确性。开发者需确保所有硬件设备均符合要求，并在启动程序前检查各项服务是否正常运行，以避免操作中断。
数据采集与处理的灵活性
文章提到的摇操采集方法提供了多种数据处理路径，开发者可以选择使用宇树或傅利叶的开源代码进行3D点云数据采集。这种灵活性使得开发者能够根据具体需求调整数据输入格式，从而提高系统的适应性和效率。
延伸问答
如何通过Apple Vision Pro控制宇树H1_2机器人？
开发者需佩戴Apple Vision Pro，通过摄像头进行手势追踪来操作宇树H1_2机器人。
在开发宇树人形机器人时需要哪些软件库？
需要安装pinocchio和CasADi库进行逆运动学计算，以及unitree_dds_wrapper用于计算机与机器人之间的通信。
如何配置Ubuntu环境以支持双臂逆运动学求解？
在Ubuntu 20.04或22.04上配置相关软件库，并确保安装正确版本的pinocchio。
avp_teleoperate的代码结构是怎样的？
avp_teleoperate的代码结构与TeleVision一致，包含模仿学习策略、机器人URDF文件、遥操作主要文件等。
在使用Apple Vision Pro时需要进行哪些证书生成配置？
需要安装mkcert生成证书，并将生成的证书拷贝到项目的teleop目录下。
如何启动遥操作程序？
在配置正确后，运行python teleop_hand_and_arm.py，并按下's'键启动程序。
