OpenNeRF:使用像素级特征和渲染新视图的开放式 3D 神经场景分割
原文中文,约500字,阅读约需2分钟。发表于: 。OpenNeRF 是一种在视觉 - 语言模型中自然地进行操作的方法,通过使用像素级的 VLM 特征,可以在不需要额外的 DINO 规范化的情况下实现更简化的架构,并在 3D 点云分割上优于近期的开放词汇方法,如 LERF 和 OpenScene,至少优势为 + 4.9 mIoU。
该研究提出了一种名为Open-NeRF的方法,用于解决从开放词汇中将神经辐射场分解为对象的挑战。Open-NeRF利用大规模的分割模型和层次嵌入来实现开放词汇查询的灵活性和三维分割的准确性。实验结果表明,Open-NeRF在开放词汇的场景中胜过了其他方法。该方法为NeRF分解提供了一个有前途的解决方案,能够在开放世界的三维场景中实现新的机器人和视觉语言交互应用。