傅里叶域中的解耦样式结构增强 RAW 至 sRGB

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

本文综述基于深度学习的图像信号处理(ISP)研究进展,涵盖RAW与sRGB双向映射、去噪、超分辨率、低光物体检测及光谱超分辨率等任务。代表性方法包括色彩条件ISP网络、混合模型数据驱动ISP、InvISP可逆管线、DeepISP端到端模型、AWNet注意力小波网络及ParamISP相机参数控制网络,并推出ISPW等数据集,在多项任务上取得领先性能。

🔎

延伸解读

从RAW到sRGB:深度学习ISP的演进脉络

文章梳理了2018年至2023年多个代表性ISP研究,呈现出一条清晰的技术演进线:从DeepISP的端到端映射,到AWNet引入注意力与小波变换,再到ParamISP利用相机EXIF参数进行控制,以及InvISP实现可逆管线。这些工作共同表明,深度学习ISP正从单纯追求画质,转向兼顾可逆性、泛化性和对相机参数的显式利用。

数据与泛化:ISPW数据集和GenISP的务实思路

针对RAW数据获取困难的问题,文章提到ISPW数据集通过智能手机拍摄RAW来生成DSLR画质图像,为训练提供数据基础。同时,GenISP将颜色空间转换显式融入设备无关空间,以提升对未见相机传感器的泛化能力。这两项工作分别从数据规模和模型泛化两个角度,回应了ISP落地中的实际障碍。

双向映射与多任务扩展:ISP的边界正在拓宽

文章不仅讨论RAW到sRGB的前向处理,还涵盖sRGB到RAW的反向重建(如InvISP、ParamISP),以及RAW域去噪、盲超分辨率、低光物体检测和光谱超分辨率等任务。这说明ISP研究正从单一图像增强,扩展为连接不同图像域和支撑下游视觉任务的基础设施,其价值不再局限于最终视觉效果。

❓

Q&A

有哪些深度学习方法可以实现RAW图像到sRGB图像的高质量转换?

文章提到了多种方法:色彩条件ISP网络(使用全局上下文模块和遮蔽对齐损失)可生成DSLR画质图像;DeepISP是端到端模型,学习从低光马赛克RAW到最终图像的映射,包括去马赛克、降噪和色彩校正;AWNet利用注意机制和小波变换;ParamISP通过相机参数控制ISP网络实现双向转换。

InvISP可逆图像信号处理管线有什么特点?

InvISP是一个可逆的ISP管线,不仅能渲染出视觉上吸引人的sRGB图像,还能几乎完美地恢复RAW数据。它集成了可微的JPEG压缩模拟器,因此可以从JPEG图像中重构RAW数据,在sRGB渲染和RAW重构质量上均优于替代方法。

ParamISP如何利用相机参数来提升ISP性能?

ParamISP采用ParamNet神经网络模块,将EXIF数据中的相机参数转换为特征向量,用于控制ISP网络,实现sRGB和RAW图像之间的前向和反向转换。实验证明,相比以前的方法,ParamISP在RAW和sRGB重建上更出色,并可应用于数据集合成、RAW去模糊、HDR重建和相机间传输等任务。

在低光条件下进行物体检测有什么专门的ISP方案?

文章提出了GenISP,一种最小神经ISP管线,专门用于机器认知。它将颜色空间转换明确融入独立于设备的颜色空间,以提高对未见过相机传感器的泛化性,并且可以与任何物体检测器配对使用。

ISPW数据集是什么?它带来了哪些性能提升?

ISPW(ISP in the Wild)数据集是随色彩条件ISP网络框架一同推出的。使用该数据集,所提方法在两个数据集上取得了新的最先进的结果,能够通过智能手机拍摄的RAW图像生成DSLR画质的图像。

混合模型和数据驱动的ISP技术实现了什么?

该技术实现了RAW和RGB域的双向映射和参数学习,并通过基于字典的数据增强方法,在RAW图像重建和去噪任务中达到了最先进的性能。

🏷️

标签

➡️

继续阅读