NavGPT-2：发掘大型视觉语言模型的导航推理能力
内容提要
本文介绍了基于大语言模型的导航代理NavGPT，展示其在视觉和语言导航中的应用。NavGPT通过分解指令、整合常识知识和适应特殊情况，提升了导航能力和推理可解释性。同时，研究提出了导航思维链以改善自主导航决策性能，并开发了基于视频的视觉语言模型NaVid，以应对导航中的多种挑战。
延伸解读
导航思维链（NavCoT）的领域适应策略
文章指出，NavCoT通过领域内训练提升基于LLM的自主导航决策性能，减少领域差距。在R2R数据集上，简单参数微调即带来约7%的相对改进，且优于直接行动预测的变体。这表明，将推理步骤显式化有助于LLM适应具体导航任务，为真实世界机器人应用提供可扩展路径。
NaVid：无地图视频导航的突破
NaVid作为基于视频的大型视觉语言模型，无需地图、测距仪和深度信息，仅凭动态视频流输入即实现先进导航性能。它利用历史观察作为时空背景，解决了里程计噪声和模拟到真实的缺陷。经过55万导航样本和66.5万网络数据训练，在模拟和真实环境中均表现良好，为导航代理规划了下一步。
跨模态理解与注意力焦点差异
诊断实验揭示，不同导航智能体的注意力焦点和跨模态理解能力存在差异。Transformer模型在物体跨模态理解上相对更优，但研究对模型声称的跨模态对齐方式提出质疑。这提示读者，评估导航模型时需关注其实际对齐机制，而非仅依赖性能指标。
VELMA与VLN-GPT：提升成功率的两种路径
VELMA通过从人类指令提取位置信息并用CLIP处理图像，实现与真实街景地图交互，在两个数据集中将任务成功率提升25%-30%。VLN-GPT则基于Transformer建模轨迹序列依赖，采用离线预训练和在线优化，超越复杂编码器模型。两者分别从多模态融合和序列建模角度推进VLN。
Q&A
NavGPT是什么？
NavGPT是一种基于大语言模型的导航代理，能够进行视觉和语言导航。
NavGPT如何提升导航能力？
NavGPT通过分解指令、整合常识知识和适应特殊情况来提升导航能力。
什么是导航思维链模块（NavCoT）？
导航思维链模块（NavCoT）是用于改善自主导航决策性能的模块，旨在减少领域差距。
NaVid模型的主要特点是什么？
NaVid是一个基于视频的视觉语言模型，能够在没有地图和深度信息的情况下实现高效导航。
VELMA模型如何提高任务成功率？
VELMA模型通过提取位置信息和处理图像信息，提高了任务成功率，完成任务的成功率提高了25%-30%。
本文对视觉与语言导航领域的贡献是什么？
本文综述了视觉与语言导航领域的现有研究，分析了当前的局限性和未来的机遇，为研究社区提供了详尽参考。
