本文介绍了Matterport3D数据集及其仿真器，推动视觉与语言导航研究。Room-to-Room（R2R）数据集基于真实建筑，包含21,567条导航指令，旨在解决视觉语言导航中的数据孤岛问题，提供统一的研究基准。

本研究提出了一种模块化方法，将视觉语言导航(VLN)任务分解为四个子模块，利用大型语言模型(LLM)和视觉语言模型(VLM)进行零射门设置。通过动态规划计算全景序列与地标名称序列的对齐分数，在复杂的R2R-Habitat指令数据集上表现优于其他方法。

本研究提出了NAVCON，一个基于R2R和RxR数据集的大规模视觉语言导航语料库。研究引入了四个核心的认知和语言基础导航概念，并开发了生成自然语言导航指令的算法，评估了注释质量，对未来研究和应用具有重要意义。

本研究探讨了利用CLIP模型进行零样本视觉语言导航，结果表明其导航能力优于传统监督学习方法。提出的LGX算法及其他方法在不同数据集上显著提升了成功率，展示了大型语言模型在机器人导航中的潜力。此外，研究还提出了VoroNav和OpenFMNav等新方法，进一步提高了导航效率和成功率，强调了视觉语言模型在复杂环境中的应用价值。

本文介绍了一种用于视觉语言导航的预训练和微调范式，通过自监督学习训练图像-文本-动作三元组，提升导航性能。研究提出了子指令注意力、结构化状态演化模型和基于大型语言模型的生成代理Cog-GA等多种方法，解决了多模态理解和空间推理的挑战，显著提高了导航效率。

本文介绍了基于大语言模型的导航代理NavGPT，展示其在视觉和语言导航中的应用。NavGPT通过分解指令、整合常识知识和适应特殊情况，提升了导航能力和推理可解释性。同时，研究提出了导航思维链以改善自主导航决策性能，并开发了基于视频的视觉语言模型NaVid，以应对导航中的多种挑战。

本文提出多种基于提示学习的方法，以提高视觉转换器（ViT）在领域泛化中的性能。通过无标签领域通用化框架和层次对比式视觉提示等技术，实验结果表明这些方法在医学图像分类和视觉语言导航任务中优于现有技术，显著提升了模型的泛化能力和准确性。

本文综述视觉语言导航（VLN）研究进展，涵盖利用大模型解析指令、构建视觉语言地图、定位与控制的真实世界导航框架，以及混合导航、深度强化学习、层次化学习、目标感知模型等方法，并推动模拟到真实机器人迁移及基准数据集建设。

本文综述多模态融合与视觉语言导航研究，涵盖条件模仿学习自动驾驶、自然语言指令拾取、交互式指代理解、YouRefIt数据集、GVCCI无监督定位、Lidar与RGB融合导航、对象中心化指导增强及交互式导航指针模型，旨在推动可信任人本AI发展。

该文综述机器人从仿真到现实（sim2real）的导航与迁移研究，提出Habitat-PyRobot Bridge评估工具及Sim-vs-Real相关系数，并介绍对抗特征调整、鸟瞰图中间表示、双向域适应、反向动作变换、动力学随机化等方法，支持零样本或少量样本迁移，最高提速约120倍；视觉语言导航在办公室实测成功率为46.8%。

该文综述大语言模型在机器人及多模态任务中的应用：GPT-2等可将人类请求转化为机器人可执行计划，实现长期任务规划；3D-GPT支持指令驱动的三维建模；RoboGPT结合规划与技能模块完成日常任务；NavGPT实现零样本视觉语言导航；DiagGPT用于任务导向对话；VideoLLM与Video-ChatGPT将LLM推理扩展至视频理解与对话；神经符号框架结合符号规划器提升复杂规划效率。

本文综述了多项视频-语言研究：利用房屋导览视频预训练视觉语言导航代理，在R2R和REVERIE数据集上达到最先进水平；基于预训练模型与条件式3D U-Net按自然语言编辑视频，提出视帧差异损失以提升时序一致性；以无监督方式解决教育视频中的实体指代问题；对齐“如何做”视频与wikiHow文章以实现时间定位；利用自动生成的问答对实现可扩展视频问答；介绍无监督学习任务的主要步骤；采用联合生成模型解析指示视频的语义步骤；用教学视频学习步骤表示与排序；通过MIL-NCE从讲述视频中学习视频表示；提出VIDiff统一模型，按指令编辑增强视频。

DAVIS是一种通过鼓励测试时间视觉一致性来学习在看不见的环境下的泛化能力的方法。它利用相似语义观察的视觉一致性信号和两阶段学习过程来鼓励测试时间的适应，并结合强化学习和Momentum Contrast来增强模仿学习。在R2R和RxR数据集上的实验结果表明，DAVIS在视觉语言导航中取得了最新的模型无关进展。