SIGNeRF: 基于场景集成生成的神经辐射场
内容提要
本文综述多项NeRF改进研究：Edit-DiffNeRF通过微调扩散模型潜在语义空间实现3D场景编辑；NeRF综合任务采用两阶段法生成大尺寸新辐射场；NeRFReN分离透射与反射组件以建模反射场景；ZIGNeRF从单图生成多视图；D-NeRF将NeRF扩展至动态领域；SSDNeRF利用扩散模型学习可推广先验；此外还包括文本驱动3D编辑、C³G-NeRF条件合成、Text2NeRF文本生成3D场景及GAN优化渲染质量等方法。
延伸解读
扩散模型成为NeRF编辑与生成的关键工具
文中多项工作借助扩散模型提升NeRF能力：Edit-DiffNeRF微调扩散模型潜在语义空间实现3D场景编辑；SSDNeRF用扩散模型学习可推广先验；Text2NeRF以文本到图像扩散模型约束NeRF生成。这表明扩散模型正从图像生成延伸至3D场景的编辑与重建，为NeRF提供语义和几何先验。
反射与动态场景的专门化建模
NeRFReN将场景分解为透射和反射组件，分别用神经辐射场建模，以处理含反射的场景并实现新视图合成与深度估计。D-NeRF则将时间作为额外输入，把学习过程分为两阶段，使NeRF能重建和渲染动态对象。两者说明NeRF正通过组件分离或时间维度扩展来应对更复杂的真实场景。
从单图到文本的多模态输入趋势
ZIGNeRF能从单张输入图像生成多视图图像，并支持360度旋转或深度、水平平移；Text2NeRF则以自然语言描述为输入生成3D场景。这些方法降低了3D内容创作的门槛，使输入从多视图图像扩展到单图甚至文本，但文中未提及生成质量与输入模态之间的具体权衡。
条件合成与渲染优化的补充方向
C³G-NeRF可合成具有条件操纵的照片逼真、三维一致图像，并在三个图像数据集上评估；另有工作采用生成对抗网络优化NeRF，修复照明、采样等问题以提升渲染质量。这些研究分别从条件控制和后处理优化角度补充了NeRF的生成与渲染能力，但文中未给出量化对比结果。
Q&A
Edit-DiffNeRF 是如何实现 3D 场景编辑的？
Edit-DiffNeRF 通过微调已训练扩散模型的潜在语义空间来合并编辑指令，并利用多视图语义一致性损失确保不同视图重建的潜在语义嵌入一致，从而有效编辑 3D 场景。
NeRF 综合任务的目标是什么？
NeRF 综合任务旨在利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，通过两阶段方法综合新场景，并采用阴影指导控制照明效果，以生成高质量曲面新场景。
NeRFReN 如何建模带有反射的场景？
NeRFReN 将场景分解为透射和反射组件，分别用单独的神经辐射场建模，从而实现高质量的新视图合成和深度估计。
ZIGNeRF 能从单张图像生成什么？
ZIGNeRF 基于零样本 GAN 反演和新颖转换器，能从单张输入图像生成多视图图像，分离对象与背景，并实现 360 度旋转或深度和水平平移。
D-NeRF 如何将 NeRF 扩展到动态领域？
D-NeRF 将时间作为额外输入，并将学习过程分为两个主要阶段，同时学习两个映射，从而控制相机视图和时间变量，实现动态场景的重建与渲染。
SSDNeRF 使用扩散模型学习什么？
SSDNeRF 使用表达能力强的扩散模型从多视图图像中学习神经辐射场的可推广先验，实现 3D 重建和先验学习同时进行，在无条件生成和单/稀疏视图 3D 重建任务上表现鲁棒。
Text2NeRF 如何根据文本生成 3D 场景？
Text2NeRF 以自然语言描述为输入，利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致，并使用逐步场景修复和更新策略保证视角一致性，生成高保真、多视角一致的 3D 场景。
