基于语言的机器人导航的分层开放词汇三维场景图
内容提要
本文介绍了一种开放词汇的3D场景图（OVSG），用于将实体与自由文本查询关联，支持上下文感知的实体定位。实验表明，OVSG在机器人导航和操作中表现优越，能够处理复杂的空间和语义推理任务，显著提高了3D场景图的生成质量。
延伸解读
开放词汇查询的上下文感知能力
OVSG 的核心突破在于支持自由文本查询，如“在厨房桌子上拿起一个杯子”或“导航到一个有人坐在上面的沙发”。这种上下文感知的实体定位不同于传统基于语义的物体定位，它要求系统理解实体间的空间和语义关系，而不仅仅是识别物体类别。这为机器人执行复杂指令提供了更自然的人机交互方式。
实验验证与性能优势
研究通过 ScanNet 数据集和自采集数据集进行了一系列比较实验，证明 OVSG 在 3D 场景图生成质量上明显超越了以前基于语义的定位技术。此外，真实世界的机器人导航和操作实验展示了其实际应用潜力，表明该方法不仅停留在理论层面，还能在物理环境中支持复杂任务。
与相关工作的定位差异
文章提及了 OpenGraph、ConceptGraphs、VLMaps 等同期工作，它们同样关注开放词汇的 3D 场景表示。OVSG 的独特之处在于将实体（物体实例、代理、区域）与自由文本查询直接关联，并强调上下文感知的定位。这种形式化框架为机器人导航和操作中的空间与语义推理提供了统一基础。
Q&A
什么是开放词汇的3D场景图（OVSG）？
开放词汇的3D场景图（OVSG）是一种框架，用于将实体与自由文本查询关联，支持上下文感知的实体定位。
OVSG与传统的物体定位方法有什么不同？
OVSG支持自由文本输入和开放词汇查询，而传统方法通常基于语义进行物体定位。
OVSG在机器人导航中的表现如何？
实验表明，OVSG在机器人导航和操作中表现优越，显著提高了3D场景图的生成质量。
OVSG是如何处理复杂的空间和语义推理任务的？
OVSG通过上下文感知的实体定位能力，能够有效处理复杂的空间和语义推理任务。
OVSG的实验是基于哪些数据集进行的？
OVSG的性能比较实验使用了ScanNet数据集和自采集数据集。
OVSG的主要优势是什么？
OVSG的主要优势在于其能够处理复杂的查询，并在生成3D场景图时显著提高质量。
