一看视频就能学会的VideoMimic——三步走：先real2sim(涉及视频作为输入、提取姿态且点云化、重定向到G1上)，后sim中训练，最后sim2real
💡
原文中文，约11000字，阅读约需26分钟。
📝
内容提要
VideoMimic是一种通过单目视频学习人类动作并转化为类人机器人控制策略的方法。该系统能够重建人类及其环境，训练机器人在不同场景中自主执行动作，如上下楼梯和坐下。研究表明，VideoMimic在多样化环境中表现出良好的鲁棒性，未来将扩展应用以实现更复杂的人机交互。
🎯
关键要点
- VideoMimic是一种通过单目视频学习人类动作并转化为类人机器人控制策略的方法。
- 该系统能够重建人类及其环境，训练机器人在不同场景中自主执行动作。
- VideoMimic在多样化环境中表现出良好的鲁棒性，未来将扩展应用以实现更复杂的人机交互。
- 研究者提出的上下文控制能力使机器人能够适应不同环境中的动作。
- VideoMimic的流程包括从真实到仿真再回到真实的过程，能够将单目视频转化为可迁移技能。
- 该系统通过联合恢复4D人-场景几何体，训练强化学习策略以跟踪参考轨迹。
- 作者开发的感知模块能够从单目RGB视频中重建三维人体运动，并与物理仿真器兼容。
- VideoMimic在123段单目RGB视频上进行了训练，结果显示机器人在不同环境中展现出通用的人形运动技能。
- 该方法在真实的Unitree G1机器人上验证，显示出良好的运动能力和鲁棒性。
- VideoMimic的局限性包括在自然环境中重建的脆弱性和对动态点的处理不足。
➡️
