值得信赖的 SR:通过扩散模型和人工反馈解决图像超分辨率的歧义
内容提要
该综述梳理扩散模型在图像超分辨率中的进展,涵盖条件策略、引导、失真空间与零样本方法,并介绍代表性研究:基于扩散概率模型的单图超分、一步推断的SinSR、质量评估指标SRIF、隐式扩散模型IDM、加速条件模型ACDMSR、文本先验盲超分、光场模型LFSRDiff及任意尺度模型Diff-SR,总结趋势与挑战。
延伸解读
扩散模型在超分中的演进脉络
从2021年基于扩散概率模型的单图超分,到2023年SinSR实现一步推断,扩散模型在超分领域经历了从多步采样到高效推断的转变。同时,条件策略、引导和零样本方法等研究方向不断丰富,推动超分在细节生成和灵活性上的进步。
效率与质量的平衡策略
SinSR通过一步推断和一致性保持损失,在提升10倍速度的同时保持性能;ACDMSR利用预训练SR模型提供条件图像,加速条件扩散过程。这些方法表明,扩散模型在超分中正朝着实用化方向努力,但如何在加速的同时不牺牲生成质量仍是关键挑战。
评估与适应性的新进展
SRIF针对超分图像的质量评估,融合确定性保真度和统计保真度,并引入不确定性加权,更贴合主观感知。IDM和Diff-SR则分别实现连续分辨率和任意尺度超分,增强了模型对不同缩放需求的适应性,拓展了应用场景。
多模态与盲超分的探索
文本先验盲超分利用预训练文本到图像扩散模型的知识,结合可控特征包装和渐进聚合采样,适应任意尺寸。LFSRDiff将光场解缠与扩散模型结合,有效融合空间和角度信息。这些工作展示了扩散模型在复杂退化场景和多模态数据中的潜力。
Q&A
扩散模型在图像超分辨率中主要有哪些研究方向?
根据综述,主要研究方向包括替代输入域、条件策略、指导、失真空间和零样本方法。
SinSR 方法有什么特点?
SinSR 是一种简单有效的方法,仅需一步推断即可生成超分辨率图像,并利用新的一致性保持损失,实现比之前最先进方法和教师模型更优的性能和高达 10 倍的推断加速。
SRIF 是什么?它有什么作用?
SRIF 是超分辨率图像保真度指数,针对内容依赖的锐度和纹理评估提出了不确定性加权方案,并将确定性保真度和统计保真度融合,在测试主观评级数据集时表现优于现有 IQA 模型。
IDM 如何实现连续图像超分辨率?
IDM 采用神经表示和去噪扩散模型,通过缩放因子在最终输出中调节低分辨率信息和生成特征的占比,使模型适应连续分辨率需求,实现高保真持续图像超分辨率。
ACDMSR 是如何加速条件扩散模型用于超分辨率的?
ACDMSR 通过预先训练的 SR 模型提供给定 LR 图像的条件图像,实现优秀的超分辨率结果,从而在可实践的场景中生成更具视觉逼真感的低分辨率图像。
LFSRDiff 是什么?它有什么创新?
LFSRDiff 是首个基于扩散的光场图像超分模型,将 LF 解缠机制与扩散模型相结合,实现了在 LF 图像中更有效地提取和融合空间和角度信息,产生了多样且逼真的超分辨结果,尤其在感知度量方面表现出较高水平。