GSN: 神经辐射场的通用分割
内容提要
该文综述了神经辐射场（NeRF）的多项进展：提出可泛化神经点场（GPF），基于点渲染提升泛化与渲染质量；GSN将室内场景分解为局部辐射场，支持新视角合成与场景生成；ISRF和SGISRF实现交互式3D物体分割；通过2D基础模型蒸馏实现3D高斯语义分割；GP-NeRF联合渲染语义与几何场；Gen-NeRF软硬件协同加速泛化NeRF。
延伸解读
从图像到点：泛化NeRF的范式转变
文章指出，GPF通过基于点而非图像的渲染构建可泛化神经场，并显式建模可见性，结合非均匀取样策略提升渲染速度与重构质量。这标志着泛化NeRF从依赖图像特征转向点云表示，可能为实时新视角合成提供新思路。
场景分解与生成：GSN的局部辐射场思路
GSN将复杂室内场景分解为多个局部辐射场，从而支持从任意视点渲染，并能生成新场景或补全稀疏2D观察。这种分解策略有助于表示大尺寸复杂环境，在多个数据集上渲染质量优于现有模型。
交互式分割：从ISRF到SGISRF的演进
ISRF和SGISRF均致力于在辐射场中进行交互式3D物体分割。ISRF能处理细微结构和外观，SGISRF则通过少量用户点击分割新场景，并设计三项技术解决关键挑战。两者都可用于新视图合成和跨场景物体分割。
语义分割与硬件加速：3D高斯与Gen-NeRF
通过2D基础模型蒸馏，3D高斯喷洒实现了新视图语义分割和语言引导编辑，训练渲染速度显著更快。GP-NeRF联合渲染语义与几何场，提升场景理解。Gen-NeRF则通过软硬件协同加速泛化NeRF，面向实时AR/VR体验。
Q&A
GSN是什么？它有什么主要功能？
GSN是生成式场景网络（Generative Scene Networks），它通过学习将复杂室内场景分解成许多局部辐射场，能够从任意视点渲染，同时具有生成新场景和完成仅有稀疏2D观察的场景的能力，并能够更好地表示和呈现大尺寸和复杂室内环境。
GSN在场景渲染质量上表现如何？
通过与其他现有模型的比较，GSN在多个场景数据集上表现出更高的场景渲染质量。
ISRF方法有什么特点和应用？
ISRF方法可以与尝试从RF中分割复杂对象的先前分割方法相比，交互性地分割带有细微结构和外观的对象，并可用于新视图合成、多个场景中的对象分割等应用。
SGISRF方法如何实现3D物体分割？
SGISRF方法能够通过少量用户交互点击，对由光辐射场表示的新场景进行3D物体分割。该方法通过三种特别设计的技术来解决三个关键挑战，并在多个实验中证明了其有效性和适用性。
如何通过2D基础模型实现3D高斯语义分割？
通过2D基础模型的3D特征场蒸馏，提出了一种通用的方法，用于实现新颖视图的语义分割、语言引导编辑和任意维度语义特征的3D高斯喷洒，提供可比较或更好的结果，并且训练和渲染速度显著更快。
GP-NeRF模型有什么创新和效果？
GP-NeRF是一种通用感知NeRF模型，通过引入transformers和自我蒸馏机制，实现了语义场和几何场的联合渲染，以促进具有上下文感知的三维场景理解。在评估中，使用合成和真实世界数据集进行了两个感知任务（即语义和实例分割）的实验比较，取得了显著的优于现有方法的效果。
