重新思考3D空间中辐射场的开放词汇分割
内容提要
本文提出了一种通过蒸馏2D图像特征优化3D特征场的方法，旨在实现语义场景分解和局部区域编辑。研究利用预训练模型解决三维开放式词汇分割的挑战，实验表明该方法在无需分割注释的情况下优于传统模型。Open-NeRF通过集成和蒸馏技术，实现了在复杂场景中的对象一致识别，展示了其在3D视觉语言交互中的潜力。
延伸解读
技术路径：从2D蒸馏到3D语义场
文章核心思路是利用自监督2D图像特征提取器（如CLIP、DINO）的知识，通过蒸馏优化NeRF的3D特征场。这种方法无需3D分割注释，仅从2D图像和文本对中学习，就能实现开放词汇的3D分割。其优势在于将2D视觉语言模型的开放词汇能力迁移到3D，避免了昂贵的3D标注，为3D场景理解提供了可扩展的方案。
Open-NeRF：集成与蒸馏的开放词汇分解
Open-NeRF针对开放词汇NeRF分解，利用SAM等大规模分割模型生成多视角2D掩模，通过跟踪对齐并在3D空间集成，再蒸馏为3D场。这种集成与蒸馏范式兼顾了开放词汇查询的灵活性和3D分割的准确性，在遮挡和模糊场景中也能保持对象一致识别。实验表明其优于LERF和FFD等先前方法，为机器人、视觉语言交互等应用提供了基础。
数据与预训练：SceneVerse与GPS
为解决3D视觉语言学习中的数据稀缺和场景复杂问题，研究引入SceneVerse语料库，包含约68K个3D室内场景和约2.5M个视觉语言对，并基于场景图生成方法构建。在此基础上提出的GPS（Grounded Pre-training for Scenes）在多个3D视觉定位基准上取得最先进性能，并在零样本迁移任务中展现出潜力，表明大规模3D数据与统一预训练框架对推动该领域发展至关重要。
语义感知NeRF的演进与趋势
从2022年到2024年，语义感知NeRF研究快速发展，涵盖开放词汇分割、场景编辑、全景分割等任务。综述指出，将语义标签作为视点不变函数映射到空间坐标，有助于识别物体。同时，OV-NeRF通过区域语义排序和跨视图自增强解决噪声和不一致问题，OV-SAM3D则实现无需训练的开放词汇3D理解。这些进展显示3D视觉语言交互正朝着更通用、更高效的方向演进。
Q&A
Open-NeRF的主要功能是什么？
Open-NeRF通过集成和蒸馏技术，实现了在复杂场景中的对象一致识别，支持开放词汇查询和三维分割。
该研究如何优化3D特征场？
研究通过蒸馏自监督的2D图像特征提取器的知识，优化NeRF的3D特征场，以实现语义场景分解和局部区域编辑。
实验结果表明该方法的优势是什么？
实验表明该方法在无需分割注释的情况下，优于传统的完全监督分割模型，显示出有效的3D分割能力。
如何解决三维开放式词汇分割的挑战？
研究利用预训练的CLIP和DINO模型的多模式知识，优化神经辐射场来解决三维开放式词汇分割的挑战。
SceneVerse在研究中起到了什么作用？
SceneVerse提供了包含约68K个3D室内场景的场景语料库，展示了Grounded Pre-training for Scenes (GPS)的有效性。
OV-NeRF模型如何提高语义感知能力？
OV-NeRF模型通过单视图和跨视图策略，结合Region Semantic Ranking和Cross-view Self-enhancement方法，提高了语义感知能力。
