基于事件驱动束调整的去模糊神经辐射场
内容提要
本文提出了多种新方法以改善运动模糊对Neural Radiance Fields (NeRFs)渲染质量的影响，包括EvDNeRF、Robust e-NeRF和DP-NeRF。这些方法通过建模模糊过程和优化相机姿态，显著提高了图像清晰度和三维一致性，实验结果表明其在合成和真实数据上均优于现有技术。
延伸解读
运动模糊对NeRF的挑战
运动模糊会破坏NeRF依赖的清晰多视角图像，导致渲染质量下降。本文针对这一问题，提出了EvDNeRF、Robust e-NeRF和DP-NeRF等方法，通过建模模糊过程或优化相机姿态来提升清晰度和三维一致性。这些方法在合成和真实数据上均优于仅使用帧或帧与事件结合的已有去模糊NeRFs，分别提高了6.13dB和2.48dB。
事件相机与NeRF的结合
事件相机能捕捉快速运动，但输出稀疏且嘈杂。Robust e-NeRF能够直接从移动事件相机中重建NeRF，特别适用于非均匀运动下的稀疏和嘈杂事件。EvDNeRF则能预测动态场景的事件流，可用作基于事件的模拟器。这些方法扩展了NeRF在挑战性场景下的应用。
物理先验与三维一致性
DP-NeRF通过两个物理先验从实际模糊处理中获得刚性模糊核，并结合深度与模糊的关系细化颜色构图误差，从而保证3D几何和外观一致性。类似地，Deblur-NeRF使用可变形稀疏核建模空间可变模糊。这些工作表明，引入物理约束能有效提升去模糊NeRF的感知质量。
相关技术演进
从BARF处理不完美相机姿态，到CBARF级联优化姿态，再到DyBluRF处理动态模糊，以及BAD-Gaussians利用高斯表示实现实时渲染，这些工作共同推动了神经渲染在模糊和姿态问题上的进展。本文的方法在此基础上进一步提升了去模糊性能。
Q&A
EvDNeRF方法是如何改善NeRF渲染质量的？
EvDNeRF通过建模模糊过程和优化相机姿态，显著提高了图像清晰度和三维一致性。
Robust e-NeRF适用于哪些条件？
Robust e-NeRF能够在各种真实世界条件下直接从移动事件相机中重建NeRF，特别适用于稀疏和嘈杂事件。
DP-NeRF框架的主要优势是什么？
DP-NeRF通过物理先验处理模糊图片，成功提高了NeRF的感知质量，保证了3D几何和外观一致性。
这些新方法在实验中表现如何？
实验结果表明，这些新方法在合成和真实数据上均优于现有技术。
如何通过这些方法处理运动模糊问题？
这些方法通过显式建模模糊形成过程和优化相机姿态来解决运动模糊对NeRF渲染质量的影响。
这些方法对NeRF的影响是什么？
这些方法显著提高了NeRF的渲染质量，改善了图像清晰度和三维一致性。
