重新思考3D空间中辐射场的开放词汇分割
原文中文,约500字,阅读约需1分钟。发表于: 。本研究解决了以往方法在3D语义理解上的不足,提出直接监督3D点来训练语言嵌入场,实现了不依赖多尺度语言嵌入的最先进精度。此外,研究首次实现了在实时渲染速度下将预训练的语言场转移到3DGS,标志着训练时间和精度的平衡。通过引入3D查询与评估协议,本研究为重建几何体和语义的评估提供了新框架。
该研究提出了Open-NeRF,通过利用大规模的分割模型和层次嵌入,实现了从开放词汇中将神经辐射场分解为对象的挑战。实验结果表明,Open-NeRF在开放词汇的场景中胜过了其他方法。Open-NeRF为NeRF分解提供了一个有前途的解决方案,能够在开放世界的三维场景中实现新的机器人和视觉语言交互应用。