HG3-NeRF: 针对稀疏视角输入的层次几何、语义和光度引导的神经辐射场
内容提要
该文综述多项基于NeRF的三维重建与新视角合成研究：MVG-NeRF利用像素级深度和法线引导优化以提升表面质量；SfMNeRF结合自监督深度与极线、光度一致性约束；此外还涵盖人体运动4D重建、自由视点人体合成、大场景NeRF、稀疏视图一致性正则化、卫星稀疏视图深度监督及几何引导注意力等方法，均旨在提高重建精度与渲染质量。
延伸解读
稀疏视角重建的共性思路：引入外部几何约束
从MVG-NeRF的像素级深度与法线引导，到SfMNeRF的极线与光度一致性，再到ConsistentNeRF的深度规范化，这些方法都试图在稀疏输入下为NeRF补充几何先验。其共同逻辑是：仅靠少量视角的光度损失容易过拟合，而深度、法线或一致性约束能提供额外的监督信号，从而改善表面质量与渲染表现。
深度监督的多种实现路径
文中展示了深度监督的不同用法：MVG-NeRF用深度和法线引导优化；SfMNeRF结合自监督深度估计；SpS-NeRF利用传统半全局MVS匹配提供密集深度监督；另一项工作则引入SFM得到的“自由”深度监督，对射线结束点施加分布损失。这些路径说明深度信息既可来自传统多视角几何，也可来自自监督估计，且监督方式可以灵活设计。
从静态场景到人体与大场景的扩展
除静态物体重建外，文章还涵盖人体运动4D重建、自由视点人体合成、大场景NeRF综合以及稀疏卫星视图深度监督等方向。这表明NeRF相关研究正从标准物体级新视角合成，向动态人体、大尺寸场景和遥感数字表面模型等更复杂应用延伸，不同场景对几何先验和渲染管线的需求也各不相同。
性能提升需结合基准与指标看待
ConsistentNeRF在DTU、NeRF Synthetic和LLFF等基准上报告了PSNR、SSIM和LPIPS的提升，SpS-NeRF则与NeRF和Sat-NeRF进行对比。读者应注意，这些结果来自各自论文的实验设置，指标提升幅度不能直接跨方法比较；同时，稀疏视图下的几何一致性正则化仍可能受错误变形影响，文中也提到需要筛除错误解并稳定训练。
Q&A
MVG-NeRF 是如何提升三维重建表面质量的？
MVG-NeRF 将传统多视角几何算法与 NeRF 结合，使用像素级深度和法线引导 NeRF 优化，从而从图像中获取干净的三维网格，并在新视角合成上具有竞争力。
SfMNeRF 在稀疏视角下如何改善新视角合成效果？
SfMNeRF 结合自监督深度估计重构样本，并利用极线和光度一致性约束构建 3D 场景几何，从而提升 NeRF 表现，实现更好的新视角合成。
ConsistentNeRF 在稀疏视图重建中取得了怎样的性能提升？
ConsistentNeRF 通过深度信息规范化像素间的 3D 一致性，在 DTU、NeRF Synthetic 和 LLFF 基准上，相比基线方法 PSNR 提高 94%，SSIM 提高 76%，LPIPS 提高 31%。
SpS-NeRF 如何利用稀疏卫星视图生成数字表面模型？
SpS-NeRF 使用稀疏卫星观测视图，通过密集深度监督以及传统半全局 MVS 匹配提供的互相关相似度指标，有效生成数字表面模型，并与 NeRF 和 Sat-NeRF 进行了对比。
针对少样本（few-shot）设置，有哪些几何感知的正则化方法？
一种框架利用未观察视角的渲染深度图将稀疏输入图像变形到未观察视角作为伪地面真值，在特征层面鼓励几何感知一致性，实现语义和结构层面的规范化，并包含筛除错误变形解和稳定训练的策略。
如何利用深度监督让 NeRF 渲染更精准？
通过引入深度监督机制，结合 SFM 得到的“自由”深度监督信息，在学习辐射场过程中对射线结束点的分布施加损失函数，这种监督方式简单有效，能使渲染图像更精准，并支持其他类型的深度监督。
