NeRFmentation: 基于 NeRF 的单目深度估计增强
内容提要
该文综述了结合单目深度估计与NeRF的多项研究：D\"aRF通过在线互补训练提升鲁棒性；AltNeRF利用自监督深度从视频重建；HRSD以合成数据集提升深度精度；Deceptive-NeRF用伪观测改善稀疏输入；SfMNeRF结合深度约束优化几何；SCADe用深度先验处理稀疏视图；MonoNeRD将体素渲染引入单目3D检测；深度监督机制使渲染更精准。
延伸解读
单目深度与NeRF的互补逻辑
文章梳理的多项研究显示，单目深度估计（MDE）与NeRF的结合并非简单叠加，而是针对彼此短板：MDE提供几何先验以缓解稀疏视图下的歧义，NeRF则通过多视图一致性约束深度估计的鲁棒性。D"aRF的在线互补训练、SCADe的深度先验与空间雕刻损失，均体现了这种双向增强思路，而非单向利用。
合成数据与自监督的实用价值
HRSD利用GTA-V生成十万张带密集深度图的合成数据，使DPT算法在不同场景下精度提升9%，结合特征提取与注意力损失可再提升至15%。AltNeRF则用自监督单目深度从视频中重建NeRF，无需已知相机姿态。两者分别从数据规模和标注依赖两个方向降低深度估计的门槛，但合成数据到真实场景的迁移效果仍需具体实验验证。
稀疏输入下的重建策略差异
面对稀疏或未标定输入，Deceptive-NeRF通过合成伪观测数据提升重建质量并消除浮动伪影；SCADe则用单目深度生成视图深度先验，并以cIMLE处理深度不确定性，再通过空间雕刻损失跟踪多个深度假设以获取共同几何。两者路径不同：前者补充观测，后者约束几何，但都旨在缓解稀疏视图下NeRF的退化问题。
从重建到检测的任务延伸
MonoNeRD将场景建模为有符号距离函数，利用体素渲染恢复RGB图像和深度图，首次将体素渲染引入单目3D检测，并在KITTI-3D和Waymo数据集上验证有效性。这表明NeRF相关技术不仅用于新视角合成，也可作为密集几何与占用推断的中间表示，服务于自动驾驶等下游感知任务，但文章未展开其计算成本与实时性表现。
Q&A
NeRFmentation 主要研究什么？
NeRFmentation 综述了结合单目深度估计（MDE）与神经辐射场（NeRF）的多项研究，旨在利用 MDE 的几何先验增强 NeRF 在稀疏视图或单目视频下的重建质量与鲁棒性。
D"aRF 是如何提升 NeRF 鲁棒性的？
D"aRF 通过在线互补训练将 MDE 网络的几何优势与 NeRF 表示结合，缓解单目深度的歧义问题，从而在少量真实图像下实现强大的 3D 重建和新视角合成。
AltNeRF 如何从单目视频中重建 NeRF？
AltNeRF 利用自监督单目深度估计（SMDE）从单目视频中创建 NeRF 表示，无需已知相机姿态，通过交替算法融合 NeRF 输出与 SMDE，生成逼真的新视图。
HRSD 数据集对深度估计精度有什么提升？
使用 HRSD 数据集训练的 DPT 算法在不同场景下的深度估计精度提高了 9%，进一步利用特征提取模块和注意力损失可将准确度提高 15%。
Deceptive-NeRF 如何处理稀疏输入？
Deceptive-NeRF 通过使用合成生成的伪观测数据提高重建 NeRF 模型的质量，能够处理稀疏输入并消除浮动伪影。
MonoNeRD 在单目 3D 检测中有什么创新？
MonoNeRD 将场景建模为有符号距离函数（SDF），利用体素渲染恢复 RGB 图像和深度图，首次将体素渲染引入单目 3D 检测，在 KITTI-3D 和 Waymo 数据集上验证了有效性。
