分而治之：重新思考神经辐射场的训练范式
内容提要
本文综述神经辐射场（NeRF）在三维渲染与视角合成领域的最新进展，涵盖联邦学习结合低秩分解保护数据隐私、自适应多NeRF加速复杂场景渲染、网格化表示提升渲染效率、SE-NeRF自进化框架改善少样本几何质量、SinNeRF单视角训练、Du-NeRF双重重建、连续学习框架及D-NeRF动态场景扩展等方法。
延伸解读
隐私保护与分布式训练
文章提到一种联邦学习算法，利用低秩分解技术实现多计算节点共同学习NeRF，同时解决数据集隐私问题。这为在数据敏感场景下训练NeRF提供了思路，但文章未涉及具体性能开销或隐私保护强度的评估。
复杂场景的加速策略
通过将场景自适应细分为轴对齐包围盒，并使用树层次结构分配较小的NeRF到不同子空间，该方法能加速复杂场景的神经渲染。这种分而治之的策略旨在平衡渲染质量与效率，但文章未给出与其他加速方法的对比数据。
少样本与单视角训练进展
SE-NeRF通过教师-学生框架和伪标签提升少样本几何质量，SinNeRF则利用半监督学习实现单视角训练。这些方法降低了多视图数据依赖，但文章未讨论它们在极端稀疏视角下的失败案例或计算成本。
动态场景与连续学习
D-NeRF将时间作为额外输入，分两阶段学习动态场景；连续学习框架通过回放混合表示提升重建质量与速度。这些扩展增强了NeRF的适用性，但文章未涉及动态场景中运动模糊或长期连续学习的稳定性问题。
Q&A
联邦学习如何与NeRF结合来保护数据隐私？
本文提出了一种联邦学习算法，利用低秩分解技术实现多计算节点共同学习NeRF，同时解决数据集隐私问题。
如何加速复杂场景的神经渲染？
通过将场景自适应地细分为轴对齐的包围盒，并使用树层次结构方法将较小的NeRF分配给不同大小的子空间，提出了一种有效的适应性多NeRF方法，以加速复杂场景的神经渲染。
SE-NeRF是什么？它有什么作用？
SE-NeRF是一种自我进化神经辐射场框架，通过在教师-学生框架中将few-shot NeRF转化为，利用教师生成的伪标签训练学生，并使用可靠性估计方法提取射线级伪标签，使NeRF学习更准确、更强健的三维场景几何，改进渲染图像质量并在多种环境中实现最先进的性能。
SinNeRF如何实现单视角训练？
SinNeRF通过引入半监督学习过程，利用几何标签和语义标签指导训练，成功仅通过单个视图将神经辐射场训练到现实场景，即使不进行多视图数据集预训练，也能产生逼真的新视图综合结果。
Du-NeRF有什么特点？
Du-NeRF是一种双重神经辐射场方法，可同时实现高质量的几何重建和视角合成，大大改善了室内环境下的新视角合成和三维重建性能，并对不服从多视角颜色一致性的细几何构造尤为有效。
D-NeRF如何处理动态场景？
D-NeRF将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。
