可解释的脑启发表示提高视觉导航任务中的强化学习性能
内容提要
该文综述视觉导航研究，核心是学习富含语义与深度的场景表示，以提升复杂环境下的导航决策与泛化能力。方法包括语义特征、拓扑表示、自监督与对比学习、多模态预训练及模拟到现实迁移。实验表明，在目标导航和视觉语言导航中，成功率与SPL显著提升，部分任务较基线提高逾50%。
延伸解读
语义与深度表示如何提升泛化能力
文章指出，富含语义和深度信息的表示能捕捉任务相关信息，并对训练与测试环境间的无关变异保持不变性。这使得完全在模拟室内场景中训练的策略，能够泛化到多样的现实环境，包括室内和室外。研究还显示，这种表示减小了训练和测试领域之间的A-距离，从而改善了泛化误差的上界。
从模拟到现实迁移的关键因素
文章强调，模拟到现实的迁移成功依赖于表示的可扩展性和鲁棒性。例如，通过盲辅助代理训练学习场景的可操作表示，在处理复杂环境及模拟到真实场景转换时表现出鲁棒性。此外，随着基础模型在预训练期间吸收更多样数据，学习策略会持续改进，这为迁移提供了可扩展的路径。
不同导航任务中的性能提升
在目标导航和视觉语言导航任务中，基于语义和深度表示的方法显著提升了成功率和SPL。例如，基于拓扑表示、语义特征和监督学习的方案在长时间任务中相对提高超过50%；Ego²-Map方法在连续环境下的视觉语言导航中取得了47%的SR和41%的SPL的最新最佳结果。这些提升表明表示学习对导航性能有实质性影响。
Q&A
可解释的脑启发表示在视觉导航中具体指什么？
可解释的脑启发表示是指学习富含语义与深度的场景表示，以提升复杂环境下的导航决策与泛化能力。它通过语义特征、拓扑表示、自监督与对比学习、多模态预训练及模拟到现实迁移等方法实现。
为什么视觉导航需要可解释的表示？
因为泛化的关键在于具备足够丰富的表示以捕捉所有任务相关信息，并且对于训练与测试领域之间的无关变异具有不变性。可解释的表示能减小训练和测试领域之间的A-距离，从而改善泛化误差的上界。
有哪些具体方法可以学习这种表示？
方法包括：语义特征、拓扑表示、自监督与对比学习、多模态预训练、模拟到现实迁移，以及通过对比代理的自我中心视图和语义地图（Ego^2-Map）进行学习。
这种表示在目标导航任务中效果如何？
在目标导航中，采用学习到的表示的代理优于最近的视觉预训练方法，并且在连续环境下的视觉和语言导航中，在高级和低级行动空间上均取得了47%的SR和41%的SPL的最新最佳结果。
从模拟到现实迁移时，这种表示表现如何？
实验证明该学习表示方式在处理复杂环境及从模拟到真实场景的转换时具有很好的鲁棒性。完全在模拟室内场景中训练的控制策略能够泛化到多样的现实环境，包括室内和室外。
这种方法在视觉语言导航（VLN）中有什么优势？
通过将预先训练的视觉和语言表示技术适应于相关领域的任务，在跨模态序列对齐和序列一致性任务中适应这些表示技术，从而提高了在Room-to-Room（R2R）带权路径成功率（SPL）度量方面的性能。
