2023 年家庭机器人开放词汇移动操控竞赛参与报告（KuzHum 团队）
内容提要
该文综述家庭服务机器人研究，涵盖HomeRobot经济型柔性机器人及开放词汇移动操作基准、UniTeam在陌生环境导航与新物体操作识别方面的改进、N²M²将移动操作分解为运动生成与强化学习代理以适应未知环境、R3M利用人类视频预训练视觉表示以提升操作成功率，以及在线抓取姿势融合、层次强化学习多物体搜索和RoboAgent多任务智能体等研究。
延伸解读
从基准到真实家庭：HomeRobot 的定位
文章将 HomeRobot 描述为经济型柔性机器人，并围绕开放词汇移动操控建立模拟基准。这意味着研究社区试图用统一任务定义衡量机器人在家庭中导航和操作陌生物体的能力。基准包含强化学习和启发式基线，但文章也指出基线在感知、导航循环和取放定位上存在缺陷，说明该领域仍处于通过基准暴露问题、再针对性改进的阶段。
分解与预训练：两条提升泛化的路径
N²M² 将移动操控拆成运动生成与强化学习代理，使机器人能在未知环境执行长视距任务并响应动态障碍；R3M 则利用人类视频预训练视觉表示，在模拟任务中比从头训练和 CLIP、MoCo 等表示提高成功率 20% 以上，并让机械臂仅用 20 个演示学习真实公寓中的操作。两者分别从任务结构和感知表示入手，指向数据效率与未知环境适应。
系统集成的价值与验证边界
UniTeam 改进基线，针对陌生环境导航、新物体操作和开放词汇识别，解决感知缺陷、导航无限循环和取放失败；在线抓取姿势融合则通过实时整理抓取姿势评估可行性。文章强调这些方法在模拟和真实环境中验证，但各研究时间跨度从 2020 到 2023 年，任务设置和机器人平台不同，读者需注意结论不能直接横向比较或视为同一系统的完整家庭部署。
Q&A
HomeRobot 是什么？它主要面临什么挑战？
HomeRobot 是一种经济实惠的柔性机器人，可在家中导航和操作各种物品以完成日常任务。其面临的挑战是开放词汇移动操作（Open-Vocabulary Mobile Manipulation），即机器人需要处理未见过的新物体和开放词汇的指令。
UniTeam 代理在陌生环境中解决了哪些具体问题？
UniTeam 代理改进了基线模型，用于处理陌生环境中的导航、新物体操作和开放词汇物体识别。它通过改善感知、导航和操作技能，最小化了感知缺陷，解决了导航中的无限循环问题，解决了取物时因物体能见度变化导致的失败，并实现了放置时的准确定位以成功放置物体。
N²M² 方法如何让机器人在未知环境中执行长视距任务？
N²M²（神经导航移动操控）将移动操控任务分解为任务空间中的简化运动生成器和移动基地的训练强化学习代理。通过对复杂障碍环境的扩展，它可以在未知环境中执行不可见、长视距任务，并立即对动态障碍和环境变化做出反应。
R3M 视觉表示如何提升机器人操作任务的成功率？
R3M 使用时间对比学习、视频语言对齐和 L1 惩罚的组合，在 Ego4D 人类视频数据集上预训练视觉表示，作为下游策略学习的静态感知模块。在 12 个模拟机器人操作任务中，与从头训练以及 CLIP、MoCo 等最先进视觉表示相比，R3M 将任务成功率提高 20% 以上。此外，它使 Franka Emika Panda 手臂仅使用 20 个演示即可在真实的杂乱公寓中学习一系列操作任务。
在线抓取姿势融合方法如何提高移动操作的抓取效果？
该方法基于在线抓取姿势融合，用于在接近目标并抓取时有效观察目标。通过在线整理抓取姿势，消除冗余和异常值，并将其编码为一个抓取姿势观察状态，用于强化学习。实时融合抓取姿势可直接评估抓握可行性，包括抓握姿势的数量和质量。
RoboAgent 如何训练具备多任务操作技能的通用智能体？
RoboAgent 通过语义增强和行为表征，使用少量多样的多模态数据集训练通用智能体。它能够展示不同的技能，并在新颖的场景中表现出很好的泛化性能。
