DiscoNeRF：无类别对象场用于3D对象发现
内容提要
本文介绍了多种基于神经辐射场（NeRF）的3D建模和分割方法，如ObSuRF、Instance NeRF和Open-NeRF。这些方法在无监督条件下实现了高质量的3D物体分割和重建，支持多视角场景处理，并在开放词汇查询中表现出色，强调了NeRF在视觉场景理解中的重要性。
延伸解读
技术演进：从单图重建到开放词汇分割
文章梳理了NeRF在3D对象发现中的发展脉络：早期ObSuRF实现单图像无监督分割，FiG-NeRF分离背景与前景，Instance NeRF支持任意点实例查询。随后Open-NeRF引入SAM等大模型，实现开放词汇查询，Obj-NeRF结合2D分割与3D重建。这一演进显示，NeRF正从封闭类别、有监督分割，走向开放世界、多模态交互，为机器人等应用提供基础。
核心挑战：开放词汇与三维一致性
Open-NeRF的研究指出，从开放词汇中分解NeRF对象是三维重建和视图合成的关键挑战。其方法利用大规模分割模型生成二维掩模，通过跟踪对齐并在三维空间集成，再蒸馏为三维场，以确保不同视角下对象识别的一致性和细粒度。这解决了遮挡和模糊特征下的难题，并在开放词汇场景中超越了LERF和FFD等先前方法。
应用前景：从场景编辑到机器人交互
Obj-NeRF展示了对象级NeRF在对象去除、旋转、替换和重新上色等下游任务中的实用性。Open-NeRF则通过开放词汇查询，为机器人和视觉语言交互应用开辟了新可能。SAID-NeRF针对透明物体获取准确深度，并成功应用于机器人抓取。这些案例表明，语义感知的NeRF不仅提升场景理解，还能直接支持实际操控任务。
评估与效率：新协议与实时渲染
文章提到，近期研究通过直接监督3D点训练语言嵌入场，达到了最先进的精度，并首次实现将预训练语言场转移到3DGS，在保持训练时间和精度的同时实现实时渲染。同时，研究引入了3D查询与评估协议，为重建几何体和语义提供了新的评估标准。这些进展有助于推动NeRF在需要实时响应的场景中落地。
Q&A
ObSuRF的主要功能是什么？
ObSuRF是一种将单张图像转化为NeRF三维模型的方法，能够在无监督条件下实现物体分割。
Instance NeRF与传统分割方法相比有什么优势？
Instance NeRF能够在任意3D点查询实例信息，超越了以往的分割方法，提供更高的灵活性和准确性。
Open-NeRF是如何实现开放词汇查询的？
Open-NeRF利用大规模分割模型和集成蒸馏范式，通过层次嵌入实现开放词汇查询的灵活性和三维分割的准确性。
Obj-NeRF的应用场景有哪些？
Obj-NeRF可以应用于对象去除、旋转、替换和重新上色等多种任务。
SAID-NeRF在透明物体处理上有什么优势？
SAID-NeRF通过重建语义场和增强模型，能够获取透明物体的准确深度信息，展现了显著性能。
NeRF在视觉场景理解中的重要性是什么？
NeRF在生成高质量新视点、补全场景细节和进行全面场景分割等方面具有重要作用，提升了三维表示和对象识别的能力。
