基于人类视频的模仿学习与VLM推理规划：从DexMV、MimicPlay、SeeDo到人形OKAMI、Harmon(含R3M的详解)
💡
原文中文，约5100字，阅读约需13分钟。
📝
内容提要
文章讨论了从人类视频中学习机器人操作技能的挑战与进展。传统方法面临动作信息不足和人机差异问题。研究者通过无监督图像翻译和关键点检测改善学习效果，介绍了如Learning by Watching、DexMV等研究，利用视觉语言模型提升机器人模仿学习的准确性和实用性。
🎯
关键要点
- 文章讨论了从人类视频中学习机器人操作技能的挑战与进展。
- 传统方法面临动作信息不足和人机差异问题。
- 研究者通过无监督图像翻译和关键点检测改善学习效果。
- 介绍了Learning by Watching、DexMV等研究，利用视觉语言模型提升机器人模仿学习的准确性和实用性。
- 从人类视频学习已成为机器人的主流训练方法之一。
- Learning by Watching将问题分解为人类到机器人的翻译、无监督关键点的表示学习和使用强化学习进行物理模仿。
- 无监督的图像到图像翻译用于实现人类到机器人的翻译。
- Transporter模型用于无监督关键点检测，提供结构化表示以捕捉机器人手臂的姿态和交互物体的位置。
- LbW框架由图像到图像的翻译网络、关键点检测器和策略网络组成，旨在提高机器人模仿学习的效果。
- DexMV和DexVIP等研究进一步推动了该领域的发展。
➡️
