基于 GAN 和扩散的 GD^2-NeRF：一次性通用的神经辐射场生成细节补偿
内容提要
该文综述了神经辐射场（NeRF）的多项优化研究，涵盖渲染质量提升、3D场景编辑、无条件生成与稀疏视图重建、几何引导注意力、软硬件协同加速、未知相机姿态处理、单图视角生成、条件操控、网格化高效表示及单视图全景生成等方向。
延伸解读
GAN 与扩散模型在 NeRF 优化中的分工
文章列举的多项研究显示，GAN 主要用于修复重建中的照明、采样问题，并与 NeRF 结合处理未知相机姿态（如 GNeRF）；扩散模型则被用于学习可推广的先验（如 SSDNeRF）或微调潜在语义空间（如 Edit-DiffNeRF）。两者在 NeRF 流程中承担不同角色：GAN 偏向对抗式优化与姿态鲁棒性，扩散模型偏向生成先验与语义编辑。读者可据此判断不同方法的技术路线差异。
从重建到生成：任务覆盖的扩展
综述涵盖的任务已超出传统新视角合成，包括无条件生成、稀疏视图重建、单图视角生成、条件操控和单视图全景生成。例如 SSDNeRF 同时处理无条件生成与单/稀疏视图重建，NeRDi 则利用 2D 扩散先验实现单视角全景生成。这表明 NeRF 研究正从“给定多视图重建”向“少视图甚至零视图生成”延伸，对数据获取条件受限的场景具有参考意义。
效率与表示：硬件协同与网格化
文章提到 Gen-NeRF 通过算法硬件协同设计加速可广义 NeRF 的新视点生成，以支持实时虚拟和增强现实体验；另一项工作则将 NeRF 融合为可与高度并行图形渲染管线兼容的高效网格神经表示，并利用屏幕空间卷积提升外观质量。这两类方向分别从计算加速和表示形式入手，提示读者关注 NeRF 落地时对实时性与渲染管线兼容性的实际需求。
Q&A
GD^2-NeRF 这个标题里的 GAN 和扩散分别指什么？
标题中的 GAN 指生成对抗网络，扩散指扩散模型；文章综述了利用这两类生成模型来优化神经辐射场（NeRF）的多项研究，例如用 GAN 修复 3D 场景重建中的照明、采样等问题，或用扩散模型学习 NeRF 的可推广先验。
Edit-DiffNeRF 是怎么实现对 3D 场景编辑的？
Edit-DiffNeRF 通过对已训练好的扩散模型的潜在语义空间进行微调，从而有效合并编辑指令，实现对 3D 场景的微调；同时利用多视图语义一致性损失，确保在不同视图中重建的潜在语义嵌入保持一致。
SSDNeRF 能完成哪些 3D 重建或生成任务？效果如何？
SSDNeRF 使用表达能力强的扩散模型从多视图图像中学习 NeRF 的可推广先验，能同时进行 3D 重建和先验学习；在无条件生成和单视图/稀疏视图 3D 重建等任务上，其鲁棒性结果可与任务特定方法媲美或更优。
GNeRF 主要解决 NeRF 中的什么难题？
GNeRF 将生成对抗网络与 NeRF 重建结合，通过两个阶段的端到端优化，解决较少研究的未知相机姿态外部场景问题，并在多种场景中取得优异效果。
Gen-NeRF 是如何加速 NeRF 生成新视点的？
Gen-NeRF 是一个算法硬件协同设计框架，通过软硬件协同加速可广义的 NeRF 生成新视点，从而实现实时的虚拟和增强现实体验。
NeRDi 如何仅凭单张图像生成高质量全景图像？
NeRDi 是一个基于 2D 扩散模型通用图像先验的单视角 NeRF 综合框架，它借助自然语言模型引导扩散模型进行图像合成，并结合估算的深度图的几何约束来优化重建的 NeRF 表示，进而实现高质量的全景图像生成。
