OV-NeRF: Open-Vocabulary Neural Radiance Fields with Vision and Language for 3D Semantic Understanding
内容提要
该文综述NeRF研究进展，重点介绍Open-NeRF：借助SAM等大模型，通过分层二维掩模生成、跟踪对齐与三维蒸馏，实现开放词汇的NeRF对象分解，性能超越LERF和FFD；同时提及SinNeRF单视图训练、SE-NeRF自进化少样本、SAR-NeRF、MVG-NeRF及NeRF-VO单目视觉里程计等改进方法。
延伸解读
开放词汇三维分割的集成与蒸馏策略
Open-NeRF 的核心创新在于利用 SAM 等基础模型生成分层二维掩模，再通过跟踪对齐和三维集成，最终蒸馏为三维场。这种“先二维后三维”的范式既保留了开放词汇查询的灵活性，又通过三维一致性约束提升了分割精度，为 NeRF 对象分解提供了可借鉴的技术路线。
开放词汇场景下的性能优势
实验表明，Open-NeRF 在开放词汇场景中超越了 LERF 和 FFD 等最先进方法。这意味着在需要根据任意文本查询分解三维对象的任务中，Open-NeRF 能提供更准确、更一致的结果，为机器人和视觉语言交互等应用奠定了基础。
相关 NeRF 改进方法的多样性
文章还提及了多种 NeRF 改进方向：SinNeRF 实现单视图训练，SE-NeRF 通过自进化框架提升少样本性能，SAR-NeRF 将 NeRF 用于 SAR 图像生成，MVG-NeRF 结合多视角几何提升表面质量，NeRF-VO 则整合稀疏视觉里程计用于单目重建。这些工作从不同角度推动了 NeRF 的发展。
Q&A
Open-NeRF 是如何实现开放词汇的 NeRF 对象分解的？
Open-NeRF 利用大规模分割模型（如 SAM）生成分层二维掩模提案，通过跟踪方法对齐这些提案，在三维空间中进行集成，最后蒸馏为三维场，从而实现开放词汇查询的灵活性和三维分割的准确性。
Open-NeRF 与 LERF 和 FFD 相比有什么优势？
实验结果表明，Open-NeRF 在开放词汇的场景中胜过了 LERF 和 FFD 等最先进的方法。
SinNeRF 如何实现单视图训练？
SinNeRF 通过引入半监督学习过程，利用几何标签和语义标签指导训练，成功实现了仅通过单个视图将神经辐射场训练到现实场景，即使不进行多视图数据集预训练，也能产生逼真的新视图合成结果。
SE-NeRF 是什么？它有什么特点？
SE-NeRF 是一种自我进化的神经辐射场框架，通过在教师-学生框架中将 few-shot NeRF 转化为自我训练，使用可靠性估计方法提取射线级伪标签，使 NeRF 能够学习更准确、更强健的三维场景几何，并改进了渲染图像的质量，在多种环境中实现了最先进的性能。
SAR-NeRF 是什么？它有什么应用？
SAR-NeRF 是一种新的 SAR 图像生成模型，它将 SAR 成像机制与神经网络相结合，通过自动编码学习体素的衰减系数和散射强度分布，并在少样本学习任务上实现了较高的分类精度。
NeRF-VO 系统是如何工作的？
NeRF-VO 是一种单目视觉里程计系统，它整合了基于学习的稀疏视觉里程计用于低延迟相机跟踪和神经辐射场景表示用于复杂的密集重建和新视角合成。系统使用稀疏视觉里程计初始化相机位姿，并从单目深度预测网络获取视角相关的密集几何先验，将位姿和密集几何的尺度统一起来作为监督信号训练神经隐式场景表示，通过联合优化关键帧位姿和底层密集几何，在边缘项渲染的过程中训练辐射场。
