自6月以来,团队在招募新成员的同时加快项目进度,完成了VR和机械臂的遥控操作,开发了全身遥操系统TWIST,结合动作捕捉与强化学习,使人形机器人能够模仿人类动作。该系统通过高质量数据集和鲁棒控制器,提升了机器人在复杂任务中的表现。
动作捕捉技术迎来变革,字节跳动推出的DreamActor-M1框架能够高质量生成一致的人体动画,表现出色,可能取代传统动捕技术。
我们提出了一种通过强化学习和人体动作捕捉数据训练的方法,让机器人模仿人类动作。Exbody方法专注于上半身模仿,放松腿部约束,确保稳定性。经过训练,机器人能以不同风格行走、握手和共舞,验证了方法的有效性。
特斯拉正在雇用人员穿戴动作捕捉服装,模仿机器人Optimus将要执行的动作,以帮助训练该机器人。该职位在特斯拉的招聘网站上被称为“数据收集操作员”,时薪高达48美元。特斯拉已经为该职位招聘了50多名员工。动作捕捉是训练机器人执行类似人类动作的常见方法,特斯拉是首批在如此大规模上采用该方法的公司之一。
NVIDIA研究经理Jim Fan在GTC大会上讨论了机器人技术面临的难题,包括数据获取和规模扩大。他强调了多种数据来源的重要性,并指出从文本转化为视频中的动作捕捉是困难的。GEAR实验室将继续推动相关研究。
通过两个智能手表和一个头戴相机,提出了一种轻量级且经济实惠的动作捕捉方法。该方法成本效益更高,便利性更好,能够在不同环境中实现3D全身动作捕捉。通过引入6D头部姿势,克服了传感器输入的稀疏性和模糊性。利用自我中心图像的视觉线索提高动作捕捉质量并减少模糊性。在具有挑战性的场景中展示了该方法的性能。
完成下面两步后,将自动完成登录并继续当前操作。