超越裸露询问：使用 3D 场景图进行开放词汇物体检索
内容提要
本文介绍了一种开放词汇的3D场景图（OVSG），通过CLIP特征空间实现上下文感知的实体定位，支持自由文本查询。研究表明，OVSG在机器人导航和操作中表现优越，能够有效推断3D结构和检索图像，提升3D场景理解的性能。
延伸解读
开放词汇查询的上下文感知能力
OVSG 的核心突破在于支持自由文本查询，并能理解上下文关系。例如，用户可以用“在厨房桌子上拿起一个杯子”这样的指令，系统会结合场景图定位到具体物体。这超越了传统基于语义的物体定位，后者通常只能识别预定义类别，而 OVSG 利用 CLIP 特征空间实现了开放词汇的关联，让机器人能更灵活地响应复杂指令。
实验验证与性能优势
在 ScanNet 数据集和自采集数据集上的比较实验表明，OVSG 在物体定位任务上明显超越了以前基于语义的方法。这得益于其开放词汇特性和上下文感知能力，能够更准确地推断 3D 结构并检索图像。这些实验结果为 OVSG 的有效性提供了实证支持，也展示了其在真实场景中的潜力。
实际应用与机器人任务
OVSG 在真实世界的机器人导航和操作实验中展现了实用性。例如，机器人可以依据“导航到一个有人坐在上面的沙发”这样的查询进行导航。这表明 OVSG 不仅能处理静态场景理解，还能与机器人系统结合，执行需要空间和语义推理的任务，为未来智能机器人的发展提供了新思路。
Q&A
什么是开放词汇的3D场景图（OVSG）？
开放词汇的3D场景图（OVSG）是一种框架，用于将物体实例、代理和区域与自由文本查询关联，支持上下文感知的实体定位。
OVSG如何支持复杂的查询？
OVSG允许用户进行复杂的查询，例如'在厨房桌子上拿起一个杯子'，通过上下文感知的实体定位实现。
OVSG在机器人导航中的表现如何？
研究表明，OVSG在机器人导航和操作中表现优越，能够有效推断3D结构并提升场景理解性能。
OVSG与传统物体定位方法有什么不同？
OVSG与传统基于语义的物体定位方法不同，它支持自由文本输入和开放词汇查询，处理更复杂的场景。
OVSG的性能如何与其他技术相比？
通过与ScanNet数据集和自采集数据集的比较实验，OVSG的性能明显超越了以前的基于语义的定位技术。
OVSG在实际应用中有哪些示例？
OVSG在真实世界的机器人导航和操作实验中展示了其有效性，提升了3D场景理解的性能。
