CMC: 跨视层多平面一致性的少样本新视角合成
内容提要
该文综述了稀疏视图下NeRF的改进方法，包括ConsistentNeRF的深度规范化3D一致性、SfMNeRF的自监督深度估计、DietNeRF的语义一致性损失以及Re-Nerfing的多阶段优化。这些方法通过深度先验和几何感知正则化提升重建质量，在DTU、LLFF等基准上显著提高PSNR、SSIM等指标。
延伸解读
稀疏视图NeRF的改进方向
文章综述了多种改进稀疏视图下NeRF的方法，包括ConsistentNeRF的深度规范化3D一致性、SfMNeRF的自监督深度估计、DietNeRF的语义一致性损失以及Re-Nerfing的多阶段优化。这些方法分别从深度先验、几何感知正则化和语义一致性等角度提升重建质量，反映了该领域通过引入额外监督信号来弥补输入视图不足的主流思路。
性能提升的量化表现
ConsistentNeRF在DTU、NeRF Synthetic和LLFF等基准上，相比基线方法，PSNR可提高94%，SSIM可提高76%，LPIPS可提高31%。这些指标表明深度规范化3D一致性对稀疏视图重建的有效性，但需注意提升幅度可能因场景和基线选择而异，读者应结合具体实验设置理解这些数字。
几何感知一致性的新框架
2023年1月提出的框架通过几何感知一致性正则化，利用未观察视角的渲染深度图将稀疏输入图像变形到未观察视角作为伪地面真值，在特征层面鼓励一致性，并筛除错误变形解以稳定训练。该方法允许建模视角依赖性辐射，在少样本设置下与现有最先进模型相比具有竞争优势，代表了从像素级损失向特征级正则化的转变。
Q&A
ConsistentNeRF 是如何提升稀疏视图下 NeRF 的重建质量的？
ConsistentNeRF 通过深度信息规范化像素之间的 3D 一致性，从而在稀疏视图下显著提高 NeRF 的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中，PSNR 可提高 94%，SSIM 可提高 76%，LPIPS 可提高 31%。
SfMNeRF 结合了哪些技术来改进神经辐射场？
SfMNeRF 结合了自监督深度估计方法对样本进行重构，并利用极线和光度一致性等约束构建 3D 场景几何图像，从而提高了神经辐射场的表现，实现更好的新视角合成。
DietNeRF 如何改进少样本下的视图合成？
DietNeRF 通过引入辅助语义一致性损失，使用预训练的视觉编码器，改进了使用较少图像时的神经辐射场的视图合成，从而提高了感知质量。
Re-Nerfing 方法的主要优化策略是什么？
Re-Nerfing 在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围，提高新视角的几何一致性，并通过新合成的图像实现结构和极线约束的优化。在 mip-NeRF 360 数据集上的实验证明了其有效性。
几何感知一致性正则化框架如何实现 NeRF 的规范化？
该框架利用未观察视角的渲染深度图将稀疏输入图像变形到未观察视角，并将其作为伪地面真值实现 NeRF 的学习，从而在特征层面而非像素级重建损失上鼓励几何感知的一致性，实现 NeRF 在语义和结构层面上的规范化，同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。此外，还提出了筛除错误变形解的方法和稳定训练优化的策略。
MVG-NeRF 如何结合传统多视角几何与 NeRF？
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。它使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。
