ICON：联合姿态与光辐射场优化中的增量式置信度
内容提要
本文综述了NeRF在相机姿态估计与三维重建方面的进展，包括IL-NeRF（参考姿态对齐与联合优化）、IR-NeRF（隐式姿态正则化）、iNeRF（残差最小化无网格姿态估计）、SfMNeRF（自监督深度与几何约束）、LU-NeRF（局部到全局姿态同步），以及改进iNeRF的迭代线性优化、UP-NeRF（无约束图像集）、端到端单图重建框架和CF-NeRF、MVG-NeRF等。
延伸解读
姿态估计与NeRF联合优化的两条技术路线
文章梳理的方法可分为两类：一类以iNeRF为代表，通过最小化合成图像与观察图像的像素残差来估计姿态，无需网格；另一类如IL-NeRF、LU-NeRF和CF-NeRF，将姿态与NeRF表示联合优化，或采用局部到全局同步、增量式SfM启发策略。前者依赖残差优化，后者更强调在训练中逐步恢复相机参数，反映了该领域从独立姿态求解向联合优化的转变。
无姿态先验场景下的鲁棒性改进
多个工作针对缺乏准确相机姿态的实际场景提出改进：IR-NeRF引入隐式姿态正则化提升真实图像姿态估计鲁棒性；UP-NeRF处理无约束图像集合和瞬态遮挡，在Phototourism数据集上优于BARF等基准；CF-NeRF无需先验信息和约束即可处理相机旋转场景。这些方法共同表明，减少对姿态先验的依赖是提升NeRF实用性的关键方向。
几何约束与深度监督的辅助作用
SfMNeRF结合自监督深度估计，利用极线和光度一致性约束构建场景几何；MVG-NeRF则用像素级深度和法线引导NeRF优化，以提升估计表面质量并获取干净三维网格。这类方法说明，引入传统多视角几何或深度线索，有助于弥补纯NeRF在几何重建上的不足，但文章未给出定量对比，实际增益需结合具体实验判断。
单图重建与端到端框架的探索
文章提到一种结合NeRF与GAN的端到端重建框架，可从单张自然图像恢复3D形状、姿态和外观，并指出多数现有方法忽略了准确姿态估计。该方向试图将姿态估计纳入端到端流程，降低对多视图输入的依赖。不过，文章仅给出定性描述，未提供与多视图方法的性能对比，读者需注意其适用场景和验证范围有限。
Q&A
IL-NeRF 是如何在增量训练中提升 NeRF 渲染质量的？
IL-NeRF 通过选择过去的摄像机姿态作为参考点，初始化和对齐传入图像数据的摄像机姿态，然后进行联合优化摄像机姿态和基于回放的 NeRF 知识蒸馏，从而实现了更高的渲染质量。
iNeRF 进行无网格姿态估计的原理是什么？
iNeRF 基于“倒置”神经辐射场框架，通过最小化合成图像与观察图像像素之间的残差来实现无网格姿态估计，并可应用于复杂真实场景和目录级别物体姿态估计。
LU-NeRF 在估计相机姿态时有什么特点？
LU-NeRF 通过局部到全局的优化和姿态同步，在一般 SE(3) 姿态设置下同时估计相机姿态和神经辐射场，无需对姿态先验进行强制约束，表现优于先前无姿态配置的 NeRF 试验，并为基于特征的 SfM 管道提供了互补选择。
UP-NeRF 如何处理无约束图像集合中的瞬态遮挡？
UP-NeRF 通过优化颜色不敏感特征场和独立模块来处理瞬态遮挡，实现更鲁棒的姿势估计及深度监督，在 Phototourism 数据集上优于 BARF 及其变体。
CF-NeRF 如何在没有相机参数先验的情况下重建三维？
CF-NeRF 受增量式运动结构启发，逐渐重建三维表示并恢复相机参数，能够鲁棒处理相机旋转场景，在不提供先验信息和约束的情况下实现最先进的结果。
MVG-NeRF 如何结合多视角几何与 NeRF 提升三维重建质量？
MVG-NeRF 组合传统多视角几何算法和 NeRF，使用像素级深度和法线引导 NeRF 优化，以提高估计表面的质量，从而从图像中获取干净的三维网格，并在新视角合成方面具有竞争力。
