动态场景下的快速高动态范围辐射场
内容提要
该文综述神经辐射场(NeRF)相关研究进展,涵盖高动态范围重建(HDR-NeRF、RawNeRF、HDR-Plenoxels)、动态场景建模(D-NeRF、HyperNeRF、快速变形辐射场)及大规模无界场景视图合成等方向,重点解决曝光控制、低光照噪声、拓扑变化与训练效率问题。
延伸解读
HDR 重建的两种技术路径
文中提到的 HDR-NeRF 通过模拟亮度场和色调映射器,从不同曝光图像中学习并控制合成视图的曝光;RawNeRF 则直接利用线性原始图像训练,以应对低光照下的高噪声。两者分别从成像管道建模和原始数据利用入手,为高动态范围新视角合成提供了不同思路,但均需多曝光或原始格式输入。
动态场景建模的拓扑挑战
D-NeRF 将时间作为额外输入并分阶段学习,实现单相机动态重建;HyperNeRF 则通过升维将五维辐射场表示为超空间切片,专门处理拓扑变化。实验显示 HyperNeRF 在平滑插值和 novel view synthesis 上优于 Nerfies,平均误差率分别降低 4.1% 和 8.6%,说明拓扑变化是动态 NeRF 的关键难点。
训练效率的显著提升
快速变形辐射场方法采用变形网格存储动态特征,并用密度和色彩网格模拟几何,同时显式建模遮挡。实验表明,仅用 20 分钟训练即可达到与 D-NeRF 相当的性能,速度比 D-NeRF 快 70 倍以上。这显示网格化表示在保持质量的同时能大幅缩短动态场景的训练时间。
大规模无界场景的视图合成
文中提及 NeRF 应用于大规模无界三维场景时,需改进以在 360° 拍摄模式下提高拍摄质量。这指向无界场景视图合成的一个实际限制:原始 NeRF 假设场景有界,而全景或户外采集需要处理背景无限延伸的问题,相关改进旨在扩展 NeRF 的适用范围。
Q&A
HDR-NeRF 是如何实现不同曝光条件下生成高动态范围图像的?
HDR-NeRF 通过模拟图像物理成像过程中的亮度场和色调映射器等关键参数,实现了在不同曝光条件下生成新的高动态范围和低动态范围图像,并能准确控制合成视图的曝光。
RawNeRF 有什么特别之处,适合处理什么样的图像?
RawNeRF 可以直接从线性原始图像中进行训练,生成高动态范围的新视角合成图像,特别适合重构低光照条件下极其嘈杂的原始图像所代表的场景。
D-NeRF 如何从单个相机视频中重建动态场景?
D-NeRF 将时间作为系统的额外输入,并将学习过程分为两个主要阶段,同时学习两个映射,从而能够从单个相机围绕场景重建和渲染对象的新图像,并控制相机视图和时间变量以及物体移动。
HyperNeRF 相比 Nerfies 在哪些方面有提升?
HyperNeRF 通过将 NeRF 升维,将每个输入图像对应的五维辐射场表示为“超空间”中的一片,解决了现有变形场模型在处理拓扑变化时的困难。实验表明,HyperNeRF 在平滑插值和新视角合成方面皆优于 Nerfies,平均误差率分别降低了 4.1%和 8.6%。
快速变形辐射场方法如何实现高效动态场景重建?
快速变形辐射场方法基于先进的体素网格优化,包含两个模块:采用变形网格存储动态特征,以及密度和色彩网格来模拟场景几何和密度,并将遮挡进行显式建模以提高渲染质量。该方法仅用 20 分钟训练时间就达到了与 D-NeRF 相当的性能,比 D-NeRF 快 70 倍以上。
HDR-Plenoxels 如何从 LDR 图像中重建高动态范围辐射场?
HDR-Plenoxels 是一种用于重建高动态范围 3D 辐射场的体素化方法,通过模拟数字相机成像管道,能够从仅有的 LDR 图像中渲染出高质量 HDR 图像,并且适用于各种不同摄像机的场景。