相信眼睛吗？利用视觉扰动增强视觉-语言导航
内容提要
本文探讨了视觉与语言导航（VLN）任务中的多模态对齐技术，提出了基于全注意力机制的架构、预训练模型和新训练范式LEO等多种方法，以提升导航性能。研究表明，这些方法在不同数据集上显著提高了成功率，推动了VLN技术的发展。
延伸解读
视觉-语言导航的技术演进脉络
从2019年到2024年，视觉-语言导航（VLN）研究呈现出清晰的演进路径：早期工作聚焦于多模态对齐与动态卷积编码，随后转向预训练与微调范式，并引入全注意力机制处理长期路径规划。2020年后，研究更注重语义歧义解决与跨语言泛化，如LEO和CLEAR方法。这一脉络显示VLN正从单一任务优化走向通用表示学习。
预训练与微调范式的关键突破
2020年提出的首个VLN预训练-微调范式，通过自监督学习大规模图像-文本-动作三元组，为现有框架提供通用表示。这一方法在三个VLN任务上验证了有效性和推广性，标志着VLN从任务特定模型向可迁移基础模型的转变。后续LEO等工作在此基础上进一步提升了R2R基准的成功率，显示出预训练策略的持续影响力。
多模态提示与不确定性处理的实用化探索
2022年后的研究更关注实际应用中的挑战：ULN设置通过多层次不确定指令和E2E模块，将成功率提升约10%；VLN-MP则整合自然语言与图像提示，改善导航性能。这些工作表明，VLN正从理想化指令向处理真实世界模糊性、多模态输入的方向发展，提升了任务实用性。
Q&A
什么是视觉与语言导航（VLN）任务？
视觉与语言导航（VLN）任务是通过自然语言指令引导代理在视觉环境中进行导航的任务。
LEO训练范式如何提高导航成功率？
LEO训练范式通过共享参数解决语义歧义，利用多条不同视角的指令，显著提高了在R2R基准测试数据集上的成功率。
本文提出了哪些技术来改善视觉-语言导航的性能？
本文提出了多模态对齐的鉴别器、动态卷积滤波器、全注意力机制架构等多种技术来提升导航性能。
Object-and-Action Aware Model的主要功能是什么？
Object-and-Action Aware Model旨在优化机器人在导航中的方向选择，显著提高了导航性能。
CLEAR方法在视觉-语言导航中解决了什么问题？
CLEAR方法通过学习跨语言和环境无关的引导方法，解决了视觉-语言导航任务中的难题。
VLN-MP如何改善导航性能？
VLN-MP通过整合自然语言和图像，利用多模态和视觉提示来改善导航性能。
