语言增强对目标導向物体导航中的捷径学习问题进行应对
内容提要
本文综述视觉语言导航（VLN）研究进展，涵盖利用大模型解析指令、构建视觉语言地图、定位与控制的真实世界导航框架，以及混合导航、深度强化学习、层次化学习、目标感知模型等方法，并推动模拟到真实机器人迁移及基准数据集建设。
延伸解读
真实世界VLN框架的四大组件
文章提出的真实世界VLN框架包含四个关键部分：基于LLM的指令解析器将语言指令转换为预定义的宏操作描述；在线视觉-语言映射器构建实时地图以理解未知环境；基于语言索引的定位器将宏操作映射到地图上的路径点；基于DD-PPO的本地控制器预测动作。该框架在Interbotix LoCoBot WX250上评估，无需微调即优于SOTA基线。
混合导航方法的技能分解
2024年1月提出的混合导航方法将多对象导航任务分解为两个技能：使用经典SLAM和符号规划器处理航路点导航，以及使用结合监督学习和强化学习的深度神经网络处理探索、语义建图和目标检索。该方法在模拟和真实环境中均展示了相对于端到端方法的优势，并超越了该任务的最先进技术。
模拟到真实迁移的成功率差异
文章指出，将VLN从模拟场景应用于物理机器人时，使用子目标模型和领域随机化等方法可提升未知环境下的表现。在325平方米的办公室实验中，提前采集和注释占用图与导航图时，模拟到真实的转移成功率为46.8%；而完全没有先前信息时，成功率仅为22.5%。这表明先验地图信息对迁移成功至关重要。
Q&A
视觉语言导航（VLN）在真实世界中面临哪些挑战？
在真实世界中，VLN 面临未知环境、模拟到真实的迁移困难等挑战。例如，在未知实验室环境中使用 Interbotix LoCoBot WX250 评估时，无需微调即可超越 SOTA 基线；模拟到真实的转移成功率在提前采集和注释了占用图和导航图时可达 46.8%，而完全没有先前信息时仅有 22.5%。
有哪些方法可以提升视觉语言导航在未知环境中的表现？
可以使用子目标模型和领域随机化等方法提升在未知环境下的表现。此外，混合导航方法将多对象导航任务分解为航路点导航（使用经典SLAM和符号规划器）和探索、语义建图与目标检索（使用结合监督学习和强化学习的深度神经网络），在模拟和真实环境中均优于端到端方法。
视觉语言导航中如何利用大语言模型（LLMs）？
在提出的真实世界VLN导航框架中，LLMs-based 指令解析器将语言指令转换为预定义的宏操作描述。该框架还包括在线视觉-语言映射器构建实时视觉-语言地图、基于语言索引的定位器将宏操作描述重新映射到地图上的路径点位置，以及基于DD-PPO的本地控制器预测动作。
视觉语言导航中常用的基准数据集有哪些？
常用的基准数据集包括 Room-to-Room (R2R) 数据集和 R4R 数据集。R2R 数据集是基于真实影像的强化学习环境 Matterport3D Simulator 提出的第一个基准测试数据集，用于现实建筑物的自然语言导航问题。
层次化学习在视觉语言导航中是如何应用的？
层次化学习方法包括高层的规划和记忆以及低层的房间导航和物品寻找。通过简单的合成语言为代理提供指令，同时使用另一个目标评估模块将指令映射到视觉观察中。该方法在动态可配置的家庭环境中验证了有效性。
视觉语言导航中如何处理不同类型的自然语言信息？
可以设计 Object-and-Action Aware Model 来处理不同类型的自然语言信息，并设计简单但有效的路径损失函数以优化机器人在导航中的方向选择。在 R2R 数据集的 SPL 得分和 R4R 数据集的 CLS 得分方面显著超过现有技术。
