人类感知视觉 - 语言导航：通过动态人类交互缩小模拟与现实之间的鸿沟
内容提要
本研究通过使用900个未标记的3D建筑自动创建VLN数据集，解决了数据稀缺性问题，显著提高了VLN模型的泛化能力。实验结果表明，该方法在REVERIE和SOON数据集上分别提高了7.1%和8.1%的SPL性能。此外，研究探讨了视觉-语言导航技术在物理机器人中的应用及提升未知环境表现的方法。
延伸解读
数据稀缺的破解之道
视觉-语言导航（VLN）研究长期受限于标注数据不足。本文利用900个未标记的3D建筑自动生成VLN数据集，并通过预训练语言模型微调，显著提升了模型泛化能力。这种方法降低了人工标注成本，为大规模数据集的构建提供了新思路，有望推动VLN在更多场景下的应用。
模拟到现实的性能落差
将VLN模型部署到物理机器人面临巨大挑战。实验显示，在325平方米办公室内，有先验地图时模拟到真实的转移成功率为46.8%，而无先验信息时骤降至22.5%。这表明环境先验知识对实际导航至关重要，也提示未来研究需进一步缩小模拟与现实的差距。
提升未知环境表现的策略
为增强机器人在未知环境中的导航能力，研究提出使用子目标模型和领域随机化等方法。这些策略旨在提高模型对陌生环境的适应性和鲁棒性，从而减少对预先采集地图的依赖。尽管当前成功率仍有提升空间，但为后续研究指明了方向。
Q&A
如何解决视觉-语言导航中的数据稀缺性问题？
通过使用900个未标记的3D建筑自动创建VLN数据集，并对数据集进行微调，显著提高了VLN模型的泛化能力。
该研究在REVERIE和SOON数据集上的性能提升是多少？
该方法在REVERIE和SOON数据集上分别提高了7.1%和8.1%的SPL性能。
视觉-语言导航技术在物理机器人中的应用有哪些？
研究探讨了使用子目标模型和领域随机化等方法，以提升物理机器人在未知环境中的表现。
模拟到真实的转移成功率是多少？
在有占用图和导航图的情况下，模拟到真实的转移成功率可达46.8%。
该研究的长期愿景是什么？
长期愿景是提高代理者和环境的感知、理解和交互能力，以实现具体导航的视觉-语言导航。
如何提高机器人在实际环境中的导航性能？
通过模拟传递技术，赋予单目机器人全景遍历感知和全景语义理解，从而提高导航性能。
