从宇树摇操avp_teleoperate到unitree_IL_lerobot：如何基于宇树人形进行二次开发
💡
原文中文，约6000字，阅读约需15分钟。
📝
内容提要
本文介绍了「七月在线」在开发人形机器人项目中的技术细节，包括如何利用Apple Vision Pro进行遥控。通过配置Ubuntu环境及相关库，开发者能够控制Unitree H1_2机器人，涉及3D数据采集、动作预测和图像推流等步骤。
🎯
关键要点
- 七月在线正在开发人形机器人项目，涉及多个订单。
- 人形机器人主要基于宇树、傅利叶、乐聚三家公司。
- 使用宇树开源的摇操代码avp_teleoperate进行数据采集和控制。
- 通过Apple Vision Pro进行遥控，支持手势追踪操作机器人。
- 配置Ubuntu环境和相关库以实现双臂逆运动学求解。
- 使用pinocchio和CasADi库进行关节电机角度计算。
- 配置unitree_dds_wrapper以实现主机与机器人之间的通信。
- 在TeleVision项目基础上修改环境配置，使用Isaac Gym进行测试。
- 生成证书以确保Apple Vision Pro与主机的安全通信。
- 硬件适配包括Apple Vision Pro、计算机和人形机器人H1。
- 启动灵巧手服务和图像推流服务以支持遥操作。
- 代码结构与TeleVision一致，包含遥操作主要文件和IK解算相关文件。
❓
延伸问答
如何使用Apple Vision Pro进行遥控人形机器人？
通过佩戴Apple Vision Pro，使用摄像头进行手势追踪来操作宇树科技的Unitree H1_2机器人。
开发人形机器人需要哪些软件环境配置？
需要配置Ubuntu环境、安装pinocchio和CasADi库，以及unitree_dds_wrapper以实现主机与机器人之间的通信。
avp_teleoperate的代码结构是怎样的？
avp_teleoperate的代码结构与TeleVision一致，包含模仿学习策略、URDF文件、遥操作主要文件等。
如何确保Apple Vision Pro与主机的安全通信？
通过生成证书并在Apple Vision Pro中安装该证书来确保安全通信。
在开发人形机器人时，如何进行动作预测？
可以使用傅利叶集成的lerobot库进行模仿学习，或直接通过ipd3官方库进行模仿学习。
人形机器人H1的硬件适配要求是什么？
需要Apple Vision Pro、计算机和人形机器人H1，具体型号为H1_2，以及双目相机和灵巧手。
🏷️
标签
➡️
