视频中的手-物体交互预训练
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该论文提出了一种视觉-运动策略学习框架,通过微调视频扩散模型来学习任务执行,以弥合人机操作者之间的隔阂。通过评估四个任务,证明了利用互联网规模的生成模型可以实现更高程度的泛化。
🎯
关键要点
- 提出了一种视觉-运动策略学习框架,通过微调视频扩散模型来学习任务执行。
- 在测试阶段生成以新颖场景的图像为条件的任务执行示例,直接控制机器人。
- 使用常用工具可以弥合人手和机器人操作者之间的具身隔阂。
- 在四个复杂度不断增加的任务上评估方法,证明了更高程度的泛化。
- 利用互联网规模的生成模型使得学习策略优于现有行为克隆方法。
🏷️
标签
➡️