NavCoT: 基于学习的解耦推理，提升基于 LLM 的视觉与语言导航
内容提要
本文介绍了一种名为NavGPT的导航代理，基于大语言模型，能够执行视觉和语言导航任务。实验表明，NavGPT在复杂环境中具备出色的推理和规划能力，能够将指令分解为子目标并适应特殊情况。此外，研究还提出了多机器人合作导航框架Co-NavGPT和基于视频的导航模型NaVid，均在导航性能上优于现有模型，为未来导航研究奠定了基础。
延伸解读
从模拟到现实：VLN 的落地挑战
文章提到，将视觉-语言导航从模拟场景迁移到物理机器人仍面临困难。在办公室实验中，提前采集占用图和导航图时，模拟到真实的转移成功率为46.8%，而无先验信息时仅有22.5%。这表明环境先验知识对实际部署至关重要，也解释了为何后续研究强调减少对地图和测距仪的依赖。
多机器人协作：LLM 作为全局规划器
Co-NavGPT 将大语言模型用作多机器人合作视觉目标导航的全局规划器，通过编码探索环境数据为每个机器人分配探索边界。实验显示其在成功率和效率上优于现有模型。这提示 LLM 不仅能处理单智能体任务，还能协调多机器人系统，为复杂搜索任务提供新思路。
视频流导航：摆脱地图与里程计依赖
NaVid 基于视频的大型视觉语言模型，仅用动态视频流输入，无需地图、测距仪和深度信息，就实现了先进导航性能。它利用历史观察作为时空背景，解决了里程计噪声和模拟到真实的缺陷。这表明视频流可能成为更鲁棒的导航输入形式，降低对精确传感器的依赖。
预训练表示：提升导航性能的关键
文章多次提到，使用预训练的视觉和语言表示技术能提高导航任务性能。例如，通过跨模态序列对齐和一致性任务适应这些表示，在 R2R 基准的 SPL 指标上取得提升。这暗示未来导航研究可继续借鉴大规模预训练模型，以增强泛化和指令理解能力。
Q&A
NavGPT的主要功能是什么？
NavGPT是一种基于大语言模型的导航代理，能够执行视觉和语言导航任务。
NavGPT如何处理复杂的导航任务？
NavGPT具备将指令分解为子目标、集成常识知识和适应特殊情况的高级规划能力。
Co-NavGPT框架的优势是什么？
Co-NavGPT在成功率和效率方面优于现有模型，展示了多机器人合作导航的潜力。
NaVid模型是如何提高导航性能的？
NaVid通过动态视频流输入解决了里程计噪声问题，实现了先进的导航性能。
研究中使用的预训练技术有什么作用？
使用预训练的视觉和语言表示技术可以提高导航任务的性能。
NavGPT在实验中的表现如何？
NavGPT在未知环境中的实验结果显示其明显优于现有的SOTA VLN基线。
