在实际环境中学习高效准确导航
内容提要
该文综述机器人从仿真到现实（sim2real）的导航与迁移研究，提出Habitat-PyRobot Bridge评估工具及Sim-vs-Real相关系数，并介绍对抗特征调整、鸟瞰图中间表示、双向域适应、反向动作变换、动力学随机化等方法，支持零样本或少量样本迁移，最高提速约120倍；视觉语言导航在办公室实测成功率为46.8%。
延伸解读
仿真到现实迁移的关键挑战
文章指出，机器人在虚拟仿真与现实世界中的路线规划准确性存在显著差异，这是sim2real迁移的核心挑战。为解决这一问题，研究者提出了Habitat-PyRobot Bridge评估工具和Sim-vs-Real相关系数，用于衡量仿真预测与现实表现的相关性。实验表明，调整仿真参数可以提高预测准确性，从而更有效地将虚拟仿真结果转化为现实世界中的效果。
提升迁移效率的代表性方法
文章综述了多种提升sim2real迁移效率的方法。例如，双向域适应（BDA）方法在PointGoal导航任务中，仅需5k样本即可达到600k样本的效果，实现了约120倍的加速。此外，对抗特征调整、鸟瞰图中间表示、反向动作变换和动力学随机化等方法，支持零样本或少量样本迁移，显著降低了真实环境训练的成本。
视觉语言导航的实际表现
在视觉语言导航（VLN）任务中，文章介绍了将技术从模拟场景应用于物理机器人的研究。在325平方米的办公室内进行实验，结果表明，在提前采集和注释了占用图和导航图的情况下，模拟到真实的转移成功率可达46.8%；而完全没有先前信息时，成功率仅为22.5%。这凸显了先验环境信息对迁移成功的重要性。
Q&A
Habitat-PyRobot Bridge 是什么？它有什么作用？
Habitat-PyRobot Bridge 是一种新的仿真评估工具，用于解决机器人在虚拟仿真与现实世界中路线规划准确性的差异问题。它有助于将虚拟仿真结果转化为现实世界中的效果。
Sim-vs-Real Correlation Coefficient 是什么指标？
Sim-vs-Real Correlation Coefficient 是一种衡量预测准确度的新指标，用于评估仿真与现实世界之间的相关性。实验表明调整仿真参数可以提高预测准确性。
双向域适应（BDA）在机器人导航中有什么效果？
双向域适应（BDA）用于弥合模拟与现实数据之间的差距，实现 PointGoal 导航任务。结果显示只需 5k 样本即可取得 600k 样本的效果，实现了约 120 倍的加速。
视觉-语言导航（VLN）从模拟到真实环境的转移成功率如何？
在 325 平方米的办公室内实验表明，提前采集和注释了占用图和导航图的情况下，模拟到真实的转移成功率可达 46.8%；完全没有先前信息时，成功率仅有 22.5%。
如何解决模拟训练中的现实差距问题？
通过在训练过程中随机化模拟器的动力学，可以开发出适应不同动力学的策略，并使其在真实世界中推广而不需要在物理系统上进行训练。该方法在物体推动任务上表现良好。
混合导航方法如何分解多对象导航任务？
混合导航方法将多对象导航（Multi-ON）任务分解为两个技能：使用经典 SLAM 和符号规划器处理航路点导航；使用结合监督学习和强化学习训练的深度神经网络处理探索、语义建图和目标检索。该方法在模拟和真实环境中均优于端到端方法。
