视觉与语言导航的现状和未来：基于基础模型时代的调查
内容提要
本文综述了视觉-语言导航（VLN）的研究进展，分析了任务、评价指标和方法，强调了当前的局限性和未来机遇。研究探讨了如何通过自然语言进行有效导航，并提出了新的框架和方法，以提高导航能力和可解释性，特别是在不同环境中的应用。
延伸解读
VLN研究的核心挑战与进展
视觉-语言导航（VLN）要求代理根据自然语言指令在视觉环境中导航。综述指出，当前研究在任务定义、评价指标和方法上已取得进展，但代理的感知、理解和交互能力仍有限。例如，部分高性能模型过度依赖指令中的名词标记，而非全面理解语言。这提示未来需提升跨模态对齐的鲁棒性，并开发更全面的评价体系。
基础模型带来的新机遇
基础模型为VLN注入新动力。研究提出利用大型语言模型增强导航能力，如维护拓扑地图以记录历史与空间关系，并引入导航思维链丰富策略多样性。DiscussNav等零样本框架也展现出潜力。这些方法旨在提升导航性能与可解释性，但如何有效整合感知与动作预测仍是关键。
从仿真到真实世界的跨越
真实世界VLN面临更多不确定性。有研究提出结合基础模型的导航框架，包含指令解析、视觉-语言地图构建、定位与本地控制等模块，并在真实实验室环境中验证，性能优于基线。然而，室外导航受地形影响更大，图形化表达的作用更显著，未来需关注不同地形的规模与多样性。
技能评估与行为分析
为诊断代理能力，研究者开发了基于技能的评估方法，通过干预措施测量代理在停止、转向等具体技能上的表现。分析发现，训练偏见对代理行为有持久影响，且技能评分与整体任务表现相关。这为细粒度改进代理提供了方向，也强调需减少数据偏见，提升指令实施的准确性。
Q&A
视觉-语言导航（VLN）是什么？
视觉-语言导航（VLN）是指通过自然语言指令引导代理在环境中进行导航的研究领域。
当前视觉-语言导航研究面临哪些主要挑战？
当前VLN研究面临的挑战包括模型的可解释性、导航策略的多样性以及在复杂环境中的有效性。
DiscussNav框架的主要功能是什么？
DiscussNav框架旨在通过增强导航性能，帮助代理更有效地执行视觉-语言导航任务。
如何提高大型语言模型在导航中的表现？
可以通过维护拓扑地图和引入导航思维链模块来增强大型语言模型的导航能力和可解释性。
在室外导航中，图形化表达方式的影响如何？
研究发现，图形化表达方式对室外导航的影响大于室内导航，因此未来研究需关注不同地形的影响。
未来视觉-语言导航研究的方向是什么？
未来的研究方向包括关注不同地形环境中的导航策略和提高代理人的主动信息收集能力。
