DOZE: 动态环境中开放词汇零射击物体导航的数据集
内容提要
本文汇总多项零样本研究：ZOD大规模自动驾驶数据集支持长距感知；ZSON、ZIPON/ORION及VoroNav提升零样本目标导航效率；HOZ利用图引导未知环境导航；零样本目标检测借助视觉-语义嵌入与元类；OpenScene实现开放词汇3D查询；语言引导视觉导航成功率达80%；ZeDO优化3D人体姿态估计。
延伸解读
零样本导航的交互化趋势
从ZSON到ZIPON/ORION，零样本目标导航正从单一指令执行转向与用户对话的交互式个性化导航。ORION利用大语言模型理解个性化目标，并能借助用户反馈提升表现，但文章指出任务完成与导航交互效率之间的平衡仍是挑战。这提示读者，交互能力虽增强灵活性，却可能牺牲效率，实际部署需权衡。
语义地图与LLM结合的探索效率
VoroNav通过从实时语义地图中提取简化Voronoi图，生成文本路径描述和图像供大语言模型推理，从而确定最佳航点。在HM3D和HSSD数据集上，其成功率和SPL均优于现有零样本目标导航基准，并引入了评估避障和感知效率的指标。这表明结构化语义信息与LLM常识推理结合，能有效提升陌生环境中的探索效率。
开放词汇3D场景理解的基础
OpenScene借助CLIP特征空间将3D场景点嵌入文本和图像像素，实现无需特定训练即可进行开放词汇查询。这与零样本目标检测中利用视觉-语义嵌入和元类概念的方法一脉相承，共同解决训练类别有限的问题。这些工作为机器人在动态开放环境中识别未见过物体提供了底层感知支持，但文章未涉及实时性能或计算开销。
Q&A
ZOD数据集是什么？它有什么特点？
Zenseact Open Dataset (ZOD) 是一个大规模且多样化的自动驾驶数据集，采集了两年时间在欧洲各地的数据，涵盖了比现有数据集多9倍的区域，并支持长距离感知和多任务学习。该数据集通过多种帧、序列和驱动器收集，为传感器融合、本地化和建图提供了支持。
VoroNav在零样本物体导航中有什么创新和效果？
VoroNav是一种新颖的语义探索框架，提出了Reduced Voronoi Graph从实时构建的语义地图中提取探索路径和计划节点。它利用拓扑和语义信息，设计基于文本的路径描述和图像，使大型语言模型能够应用常识推理确定导航的最佳航点。在HM3D和HSSD数据集上，VoroNav在成功率和探索效率上超过了现有基准，HM3D上成功率提高2.8%，SPL提高3.7%；HSSD上成功率提高2.6%，SPL提高3.8%。
ZIPON和ORION框架是如何实现个性化物体导航的？
Zero-shot Interactive Personalized Object Navigation (ZIPON) 引入了Open-woRld Interactive persOnalized Navigation (ORION) 框架，该框架使用大型语言模型（LLMs）导航到个性化目标物体，同时与用户进行对话。实验表明，能够利用用户反馈的交互式代理有显著改进，但任务完成与导航和交互效率之间的平衡仍具挑战性。
零样本目标检测面临哪些挑战，有哪些解决方法？
零样本目标检测需要同时识别和定位未见过类别的物体实例，主要挑战是仅有少数训练类别。解决方法包括使用视觉-语义嵌入、背景感知方法、利用大量类别语义标签的辅助数据，以及基于ILSVRC数据集的新实验协议和元类概念来改善自动推导的语义描述的噪音。这些方法在MSCOCO和VisualGenome等数据集上验证了有效性。
OpenScene如何实现开放词汇的3D场景查询？
OpenScene使用zero-shot方法，借助CLIP特征空间将3D场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。
语言引导的视觉导航目前达到了怎样的性能？
通过构建大规模数据集，研究了语言引导的视觉导航中各个组成部分对代理性能的影响，并通过简单模仿学习将现有代理的性能推向了一个显著的新高度，成功率达到了80%，并将在已见和未见环境中导航的泛化差距降低到不到1%。
