本文介绍了Matterport3D数据集及其仿真器，推动视觉与语言导航研究。Room-to-Room（R2R）数据集基于真实建筑，包含21,567条导航指令，旨在解决视觉语言导航中的数据孤岛问题，提供统一的研究基准。

本研究提出了一种模块化方法，将视觉语言导航(VLN)任务分解为四个子模块，利用大型语言模型(LLM)和视觉语言模型(VLM)进行零射门设置。通过动态规划计算全景序列与地标名称序列的对齐分数，在复杂的R2R-Habitat指令数据集上表现优于其他方法。

本研究提出了NAVCON，一个基于R2R和RxR数据集的大规模视觉语言导航语料库。研究引入了四个核心的认知和语言基础导航概念，并开发了生成自然语言导航指令的算法，评估了注释质量，对未来研究和应用具有重要意义。

LLM基础代理在视觉语言导航（VLN）任务中展示了零射击性能。通过AO-Planner框架，实现了适应性导航的运动规划和动作决策制定。在R2R-CE基准测试中取得了最先进的零射击性能（SPL提高了5.5%）。

本文提出了一套方法来解决视觉语言导航任务中的问题，通过维护拓扑地图和引入导航思维链模块来增强导航能力，建立了一个提高大型语言模型导航能力和解释性的流水线。实验证明该方法有效。

DAVIS是一种通过鼓励测试时间视觉一致性来学习在看不见的环境下的泛化能力的方法。它利用相似语义观察的视觉一致性信号和两阶段学习过程来鼓励测试时间的适应，并结合强化学习和Momentum Contrast来增强模仿学习。在R2R和RxR数据集上的实验结果表明，DAVIS在视觉语言导航中取得了最新的模型无关进展。