自适应开放环境下的关节化物体移动操控
内容提要
本文综述移动机器人自主交互与操作研究，涵盖两阶段规划、UniTeam代理、软体模拟器规划蒸馏、HomeRobot基准、物体运动学建模、ArtObjSim学习规划、MOO开放世界操作、主动感知抓取及导航操作协调等方法，旨在提升未知环境适应与任务执行能力。
延伸解读
两阶段规划与安全控制
文章提出在未知环境中自主交互大型铰接物体的两阶段架构：第一阶段以物体为中心进行规划，第二阶段以智能代理为中心进行规划。在存在移动障碍物的情况下，通过优化控制问题确保安全跟踪所生成的计划。这种分层设计将物体操作与机器人自身运动解耦，有助于在复杂动态环境中兼顾任务完成与安全性。
从模拟到现实的技能迁移
文章介绍了将基于梯度的软体物理模拟器规划器提炼成基于注意力机制的神经网络，使多机器人操作系统能更好地适应环境变化，并应用于训练中未见过的配置。同时，基于ArtObjSim模拟器的SeqIK+θ0运动规划表示和学习模型，能在测试时快速准确地预测关节式对象的运动计划。这些方法展示了模拟训练向真实场景迁移的潜力。
开放世界操作与主动感知
通过预训练视觉-语言模型，MOO方法能从自然语言命令和图像中提取目标标识信息，并基于当前图像、指令和对象信息驱动机器人策略，实现零样本泛化到新对象类别和环境。主动感知管道则通过最大化视觉信息增益和任务目标达成效率，在未知杂乱环境中生成抓取等操作的运动，并实现了移动抓取策略在真实世界中的传递。
导航与操作的协调
文章强调通过互补性的导航和操作，将环境感知与行为规划相结合，实现日常任务中的协调性行为。HomeRobot基准和UniTeam代理等研究针对开放词汇移动操作挑战，改进了感知、导航和操作技能，解决了无限循环、物体能见度变化导致的失败等问题。这些工作共同提升了机器人在未知环境中的适应与任务执行能力。
Q&A
在未知环境中自主交互大型铰接物体，通常采用什么架构？
采用两阶段架构：第一阶段是以物体为中心的规划器，第二阶段是以智能代理为中心的规划器。在移动障碍物的情况下，通过优化控制问题确保安全跟踪所生成的计划。
UniTeam代理主要解决了哪些问题？
UniTeam代理是一个改进的基线模型，用于处理陌生环境中的导航、新物体的操作以及开放词汇的物体识别。它改善了感知、导航和操作技能，解决了感知缺陷、导航无限循环、取物时因物体能见度变化导致的失败以及放置时的准确定位问题。
如何让多机器人操作系统更好地适应环境变化？
通过将基于梯度的软体物理模拟器的规划器提炼成基于注意力机制的神经网络，多机器人操作系统在适应环境变化和处理任务时表现更好，并且可以应用于训练中未见过的配置。
HomeRobot基准测试是什么？
HomeRobot是一种经济实惠的柔性机器人，可在家中导航和操作各种物品以完成日常任务。Open-Vocabulary Mobile Manipulation是其面临的挑战，该基准测试基于模拟，使用强化学习和启发式模型等基线，并探讨了改进性能的方法。
机器人如何在没有先验模型的情况下获取物体的运动学模型？
通过捕捉物体的深度图像来获取其运动学模型，无需先前的物体模型。该方法使用了稀疏（无标记）特征跟踪、运动分割、组件姿态估计和运动学习等技术。
MOO方法如何实现开放世界物体的操作？
MOO（Manipulation of Open-World Objects）使用预训练的视觉-语言模型，从自然语言命令和图像中提取目标标识信息，并将机器人策略基于当前图像、指令和提取的对象信息。在真实移动机械臂上实验表明，MOO可以零样本推广到广泛的新对象类别和环境中。
主动感知管道在移动抓取中有什么作用？
主动感知管道引入一种在未知、杂乱环境中进行抓取等操作的机器人运动生成方法，通过最大化视觉信息增益和任务目标达成的效率来权衡重构未知场景，并实现了移动抓取策略在真实世界中的传递。
如何实现导航和操作的协调以完成日常任务？
通过互补性的导航和操作，将机器人的环境感知与行为规划相结合，实现日常任务中的协调性行为，从而改善现有技术。该方法在模拟和真实环境中验证有效，并能适应新颖的未知环境，无需额外调优。
