GO-NeRF: 神经辐射场中生成虚拟物体
内容提要
该文综述多项NeRF场景编辑与合成研究：SIGNeRF利用扩散模型深度条件实现快速可控编辑；Blended-NeRF通过文本或图像提示将新对象无缝混入现有场景；另有工作实现无需重训的多物体物理准确渲染、FiG-NeRF分离背景与可变形前景以学习物体类别模型、统一框架解耦3D表示以支持编辑、Obj-NeRF结合SAM从多视图恢复对象3D并用于去除、旋转、替换与上色、OR-NeRF以单视图点或文本提示移除对象、Enhance-NeRF增强室外重建，以及NeRF综合任务生成大尺寸新辐射场。
延伸解读
从编辑到生成：NeRF 场景操控的多种路径
文章梳理了多种 NeRF 场景编辑与合成方法，路径各有侧重：SIGNeRF 借助扩散模型深度条件实现快速可控编辑；Blended-NeRF 通过文本或图像提示将新对象无缝混入现有场景；Obj-NeRF 结合 SAM 从多视图恢复对象 3D 并支持去除、旋转、替换与上色；OR-NeRF 则允许在单视图上通过点或文本提示移除对象。这些工作共同显示，NeRF 正从静态重建走向可交互、可编辑的场景表示。
物理准确与无需重训的渲染价值
文章提到一项基于神经辐射场和对象级神经散射函数的工作，能够在不重新训练的情况下对静态及动态场景进行光线追踪模拟，并在新光照和新物品排列下具备泛化能力。这提示读者，NeRF 的应用不限于视图合成，还可服务于物理准确的多物体场景组成渲染。对于需要频繁调整光照或物体布局的场景，这种免重训特性具有实际意义。
解耦表示与背景前景分离的实用意义
统一框架通过学习不同对象的解耦 3D 表示进行场景编辑，同时建模整个场景以支持新视角合成；FiG-NeRF 则用两组件模型分离几何恒定背景与可变形前景，仅靠光度监督和随意捕捉的物体图像即可学习物体类别模型。这类解耦思路的价值在于，它让编辑操作可以作用于特定对象或前景，而不必扰动整个场景表示，为分割、视图合成和后续编辑提供了更清晰的结构基础。
数据集、任务拓展与室外增强的配套进展
Obj-NeRF 构建了包含多样化对象的大规模对象级 NeRF 数据集，用于支撑去除、旋转、替换和上色等下游任务；文章还提出 NeRF 综合任务，利用 NeRF 补丁范例的结构内容构建大尺寸新辐射场，并以阴影指导控制照明效果。Enhance-NeRF 则面向室外场景重建，强调插拔式易用性并可与其他 NeRF 模型集成。这些配套工作说明，NeRF 编辑生态正在向数据、任务定义和室外适用性延伸。
Q&A
SIGNeRF 是如何实现快速可控的 NeRF 场景编辑的？
SIGNeRF 通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进，从而实现三维一致性视图生成，达到快速可控的场景编辑和对象生成。
Blended-NeRF 如何将新对象混合到现有 NeRF 场景中？
Blended-NeRF 利用预训练的文本-图像模型，通过文本提示或图像贴片及 3D ROI 盒子来操纵合成，并使用新颖的容积混合技术将新对象无痕地混合到现有 NeRF 场景的感兴趣区域。
Obj-NeRF 能完成哪些对象编辑任务？
Obj-NeRF 结合 SAM 的 2D 分割和 NeRF 的 3D 重建，从多视图图像中恢复特定对象的 3D 几何形状，并可应用于对象去除、旋转、替换和重新上色等任务。
OR-NeRF 如何实现单视图对象移除？
OR-NeRF 是一种对象移除流水线，可以在单个视图上通过点或文本提示从 3D 场景中移除对象，并在更短时间内实现更好的性能。
FiG-NeRF 如何学习三维物体类别模型？
FiG-NeRF 使用两组件 NeRF 模型将场景分离为几何恒定背景和可变形前景，仅使用光度监督和随意捕捉的物体图像即可学习准确的三维物体类别模型，并实现无模分割和视图合成。
Enhance-NeRF 主要针对什么场景进行增强？
Enhance-NeRF 主要改进室外场景的三维重建，增强场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，并具备插拔式的易用性，能与其他 NeRF 模型集成。
