这个与那个：基于语言和手势的机器人规划视频生成
原文中文，约400字，阅读约需1分钟。发表于：。我们提出了一种机器人学习方法，用于沟通、规划和执行各种任务，并通过利用在互联网规模数据上训练的视频生成模型的力量来实现通用任务的机器人规划。我们解决了基于视频的规划中的三个基本挑战：1）通过简单的人类指令进行明确的任务沟通，2）尊重用户意图的可控视频生成，以及...
这篇文章介绍了一种利用互联网上训练的视频生成模型实现机器人通用任务规划的方法。作者解决了基于视频的规划中的三个挑战，包括任务沟通、视频生成和将视觉规划转化为机器人动作。他们提出了一种语言手势调节生成视频的方法，并建议一种行为克隆设计，将视频规划与机器人动作结合。这项研究展示了最先进的效果，并证明了使用视频生成作为通用任务规划和执行的中间表示的合理性。
