动态场景的高动态范围成像
内容提要
本文提出了一种基于深度学习的高动态范围（HDR）视频重建框架，结合粗略图像对齐和复杂时间融合技术。研究创建了一个包含85个场景的大规模LDR-HDR视频数据集，并提出了Raw-HDRNet模型，显著提高了HDR图像的重建质量。此外，开发了自监督HDR重建方法SelfHDR，消除了对标签数据的需求，表现优于现有方法。
延伸解读
HDR视频重建的技术演进
文章梳理了从2017年到2023年HDR视频重建的技术发展。早期方法如非基于流的深度框架将HDR成像视为图像翻译问题，减少光流错位等挑战。随后，基于深度学习的框架结合粗略图像对齐和复杂时间融合，提升了重建质量。2023年提出的Raw-HDRNet利用金字塔流向引导变形卷积，在真实场景下表现优于sRGB输入。这些进展显示HDR重建正从传统算法向深度学习驱动转变。
自监督学习降低数据依赖
SelfHDR方法通过自监督学习，仅需动态多曝光图像进行训练，消除了对有标签数据的需求。它使用两个互补组件分别关注HDR颜色和结构，在真实世界图像上优于最先进的自监督方法，并与有监督方法具有可比性。这降低了数据标注成本，为HDR重建在缺乏标注数据的场景中应用提供了可能。
大规模数据集推动研究
研究创建了包含85个场景、每个场景60个帧的大规模LDR-HDR视频数据集，采用交错传感器捕捉两个曝光图像并融合为HDR。该数据集为HDR视频重建提供了丰富的训练和评估资源，有助于推动算法在动态场景下的性能提升。同时，RealRaw-HDR数据集的构建也为原始HDR数据研究提供了实际数据支持。
Q&A
什么是高动态范围（HDR）视频重建框架？
高动态范围（HDR）视频重建框架是一种基于深度学习的方法，结合粗略图像对齐和复杂时间融合技术，用于提升HDR图像的重建质量。
该研究创建了什么样的数据集？
研究创建了一个包含85个场景的大规模LDR-HDR视频数据集，每个场景包含60个帧。
Raw-HDRNet模型的优势是什么？
Raw-HDRNet模型显著提高了HDR图像的重建质量，尤其在真实场景下表现优于sRGB输入。
SelfHDR方法有什么创新之处？
SelfHDR是一种自监督HDR重建方法，消除了对标签数据的需求，并在真实世界图像上表现优于现有自监督方法。
该研究如何解决HDR成像中的光学流错位问题？
研究通过提出新的算法，将HDR成像视为图像翻译问题，从而减少光学流错位、动态物体和曝光问题带来的挑战。
该研究的主要贡献是什么？
研究的主要贡献包括提出新的HDR视频重建框架、创建大规模数据集、开发Raw-HDRNet模型和SelfHDR方法，显著提升HDR图像重建质量。
