从宇树摇操avp_teleoperate到unitree_IL_lerobot：如何基于宇树人形进行二次开发
内容提要
本文介绍了「七月在线」在开发人形机器人项目中的技术细节，包括如何利用Apple Vision Pro进行遥控。通过配置Ubuntu环境及相关库，开发者能够控制Unitree H1_2机器人，涉及3D数据采集、动作预测和图像推流等步骤。
关键要点
-
七月在线正在开发人形机器人项目，涉及多个订单。
-
人形机器人主要基于宇树、傅利叶、乐聚三家公司。
-
使用宇树开源的摇操代码avp_teleoperate进行数据采集和控制。
-
通过Apple Vision Pro进行遥控，支持手势追踪操作机器人。
-
配置Ubuntu环境和相关库以实现双臂逆运动学求解。
-
使用pinocchio和CasADi库进行关节电机角度计算。
-
配置unitree_dds_wrapper以实现主机与机器人之间的通信。
-
在TeleVision项目基础上修改环境配置，使用Isaac Gym进行测试。
-
生成证书以确保Apple Vision Pro与主机的安全通信。
-
硬件适配包括Apple Vision Pro、计算机和人形机器人H1。
-
启动灵巧手服务和图像推流服务以支持遥操作。
-
代码结构与TeleVision一致，包含遥操作主要文件和IK解算相关文件。
延伸解读
开发环境配置的重要性
在进行人形机器人开发时，正确配置Ubuntu环境及相关库至关重要。文章中提到的pinocchio和CasADi库用于逆运动学计算，确保机器人能够准确执行手势指令。开发者需特别注意安装顺序，以避免环境错误导致的调试困难。
遥操作的技术挑战
使用Apple Vision Pro进行遥操作虽然提供了便捷的手势控制，但也面临技术挑战。文章提到的图像推流服务和灵巧手控制需要精确的硬件适配和软件配置，任何小的错误都可能影响操作的流畅性和准确性。
安全通信的必要性
在遥操作过程中，确保Apple Vision Pro与主机之间的安全通信是不可忽视的环节。文章中提到的证书生成和防火墙设置，都是为了防止数据泄露和确保操作的安全性，开发者在实施时应严格遵循这些步骤。
延伸问答
如何使用Apple Vision Pro进行遥控人形机器人？
通过佩戴Apple Vision Pro，使用摄像头进行手势追踪来操作宇树科技的Unitree H1_2机器人。
开发人形机器人需要哪些软件环境配置？
需要配置Ubuntu环境、安装pinocchio和CasADi库，以及unitree_dds_wrapper以实现主机与机器人之间的通信。
avp_teleoperate的代码结构是怎样的？
avp_teleoperate的代码结构与TeleVision一致，包含模仿学习策略、URDF文件、遥操作主要文件等。
如何确保Apple Vision Pro与主机的安全通信？
通过生成证书并在Apple Vision Pro中安装该证书来确保安全通信。
在开发人形机器人时，如何进行动作预测？
可以使用傅利叶集成的lerobot库进行模仿学习，或直接通过ipd3官方库进行模仿学习。
人形机器人H1的硬件适配要求是什么？
需要Apple Vision Pro、计算机和人形机器人H1，具体型号为H1_2，以及双目相机和灵巧手。
