多视角图像编辑的注意力特征整合
内容提要
该文综述了NeRF三维编辑与稀疏视图重建的进展，涵盖ViCA-NeRF文本指令编辑、几何感知一致性正则化、ConsistentNeRF深度规范化、场景分解合成、RustNeRF退化建模、LENeRF局部文本编辑、3D特征场语义分解及CNeRF语义区域操作，旨在提升视图一致性与重建质量。
延伸解读
多视角一致性的技术路线
文章综述的多种方法均致力于提升多视角一致性。ViCA-NeRF通过几何与学习规则确保文本编辑的视图一致；几何感知一致性正则化利用未观察视角的深度图变形输入图像作为伪监督，在特征层面鼓励一致性；ConsistentNeRF则用深度信息规范化像素间3D一致性。这些方法从不同角度解决稀疏视图下的重建与编辑一致性问题。
稀疏视图重建的性能提升
在稀疏视图设置下，ConsistentNeRF在DTU、NeRF Synthetic和LLFF等基准测试中显著提升了性能，例如PSNR提高94%、SSIM提高76%、LPIPS提高31%。几何感知一致性正则化方法也展示了相对于现有最先进模型的竞争优势。这表明深度规范化与几何感知正则化是提升稀疏视图重建质量的有效途径。
局部编辑与语义分解的进展
LENeRF通过潜在残差映射器、注意场网络和变形网络实现文本驱动的局部3D编辑；3D特征场方法蒸馏2D自监督特征，支持语义场景分解和查询式编辑；CNeRF分割语义区域并学习各自辐射场，实现细粒度操作。这些工作推动了NeRF在语义理解和局部编辑方面的发展。
实际场景的鲁棒性挑战
RustNeRF针对现实世界影像退化问题，通过退化建模和隐式多视图引导改进NeRF训练，在面对实际影像退化时表现出更好的鲁棒性。这提示研究者在追求合成质量的同时，需关注真实场景中噪声、模糊等退化因素对重建的影响。
Q&A
ViCA-NeRF 是什么？它有什么特点？
ViCA-NeRF 是第一个运用文本指令进行三维编辑且具备视图一致性的方法，通过利用几何规则和学习规则来确保多视图一致性，提供更灵活、高效且更详细的编辑效果。
ConsistentNeRF 如何提升稀疏视图下的 NeRF 重建质量？
ConsistentNeRF 通过深度信息规范化像素之间的 3D 一致性，以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中，与基线方法相比，该方法可以显著提高模型性能，如 PSNR 可提高 94％，SSIM 可提高 76％，LPIPS 可提高 31％。
LENeRF 如何实现局部文本编辑？
LENeRF 通过文本输入进行精细和本地化的 3D 内容操作，利用了三种 add-on 模块：潜在残差映射器、注意场网络和变形网络，通过估算 3D 注意场来实现 3D 特征的局部操作。
RustNeRF 主要解决什么问题？
RustNeRF 主要解决现实世界中高质量三维模型合成的问题，通过利用实际影像退化建模、隐式多视图引导等实现了对 NeRF 训练模型的改进。实验结果表明 RustNeRF 方法在面对实际影像退化时表现出更好的鲁棒性。
CNeRF 如何实现语义区域操作？
CNeRF 通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。
几何感知一致性正则化在少样本 NeRF 中起什么作用？
几何感知一致性正则化通过利用未观察视角的渲染深度图将稀疏的输入图像变形到未观察视角并将其作为伪地面实现 NeRF 的学习，从而在特征层面而非像素级重建损失上鼓励这种几何感知的一致性，实现 NeRF 在语义和结构层面上的规范化，同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。
