TWIST——基于动捕的全身遥操模仿学习:教师策略RL训练,学生策略结合RL和BC联合优化
6月团队密集开展具身智能开发,连续实现机械臂(piper)、人形机器人(宇树G1)的VR遥操与自主任务训练。重点突破TWIST系统,该创新方案将全身遥操建模为实时动作重定向问题,通过MoCap数据采集与两阶段RL训练策略,解决了人机异构体差异带来的控制瓶颈。系统整合15,000段离线动作与150段实时数据,在29自由度的UnitreeG1上实现多样化类人技能。相比传统模块化控制器或局部动作捕...
自6月以来,团队在招募新成员的同时加快项目进度,完成了VR和机械臂的遥控操作,开发了全身遥操系统TWIST,结合动作捕捉与强化学习,使人形机器人能够模仿人类动作。该系统通过高质量数据集和鲁棒控制器,提升了机器人在复杂任务中的表现。