闭环交互式具身推理的机器人操控

通过使用 MuJoCo 物理引擎和高质量渲染器 Blender，我们引入一个新的模拟环境，以提供既逼真又准确反映物理环境状态的视觉观察。除此之外，我们还提出了一个由 10 类多步骤推理场景构成的新基准，并开发了一种新的模块化闭环交互式推理（CLIER）方法，考虑到非视觉对象属性的测量、外部干扰引起的场景变化以及机器人动作的不确定结果。我们在模拟环境和实际操作任务中对我们的推理方法进行了广泛评估，并取得了分别高达 76% 和 64% 的成功率。