值得信赖的 SR:通过扩散模型和人工反馈解决图像超分辨率的歧义

💡 原文中文,约1400字,阅读约需4分钟。
📝

内容提要

该综述梳理扩散模型在图像超分辨率中的进展,涵盖条件策略、引导、失真空间与零样本方法,并介绍代表性研究:基于扩散概率模型的单图超分、一步推断的SinSR、质量评估指标SRIF、隐式扩散模型IDM、加速条件模型ACDMSR、文本先验盲超分、光场模型LFSRDiff及任意尺度模型Diff-SR,总结趋势与挑战。

🔎

延伸解读

扩散模型在超分中的演进脉络

从2021年基于扩散概率模型的单图超分,到2023年SinSR实现一步推断,扩散模型在超分领域经历了从多步采样到高效推断的转变。同时,条件策略、引导和零样本方法等研究方向不断丰富,推动超分在细节生成和灵活性上的进步。

效率与质量的平衡策略

SinSR通过一步推断和一致性保持损失,在提升10倍速度的同时保持性能;ACDMSR利用预训练SR模型提供条件图像,加速条件扩散过程。这些方法表明,扩散模型在超分中正朝着实用化方向努力,但如何在加速的同时不牺牲生成质量仍是关键挑战。

评估与适应性的新进展

SRIF针对超分图像的质量评估,融合确定性保真度和统计保真度,并引入不确定性加权,更贴合主观感知。IDM和Diff-SR则分别实现连续分辨率和任意尺度超分,增强了模型对不同缩放需求的适应性,拓展了应用场景。

多模态与盲超分的探索

文本先验盲超分利用预训练文本到图像扩散模型的知识,结合可控特征包装和渐进聚合采样,适应任意尺寸。LFSRDiff将光场解缠与扩散模型结合,有效融合空间和角度信息。这些工作展示了扩散模型在复杂退化场景和多模态数据中的潜力。

❓

Q&A

扩散模型在图像超分辨率中主要有哪些研究方向?

根据综述,主要研究方向包括替代输入域、条件策略、指导、失真空间和零样本方法。

SinSR 方法有什么特点?

SinSR 是一种简单有效的方法,仅需一步推断即可生成超分辨率图像,并利用新的一致性保持损失,实现比之前最先进方法和教师模型更优的性能和高达 10 倍的推断加速。

SRIF 是什么?它有什么作用?

SRIF 是超分辨率图像保真度指数,针对内容依赖的锐度和纹理评估提出了不确定性加权方案,并将确定性保真度和统计保真度融合,在测试主观评级数据集时表现优于现有 IQA 模型。

IDM 如何实现连续图像超分辨率?

IDM 采用神经表示和去噪扩散模型,通过缩放因子在最终输出中调节低分辨率信息和生成特征的占比,使模型适应连续分辨率需求,实现高保真持续图像超分辨率。

ACDMSR 是如何加速条件扩散模型用于超分辨率的?

ACDMSR 通过预先训练的 SR 模型提供给定 LR 图像的条件图像,实现优秀的超分辨率结果,从而在可实践的场景中生成更具视觉逼真感的低分辨率图像。

LFSRDiff 是什么?它有什么创新?

LFSRDiff 是首个基于扩散的光场图像超分模型,将 LF 解缠机制与扩散模型相结合,实现了在 LF 图像中更有效地提取和融合空间和角度信息,产生了多样且逼真的超分辨结果,尤其在感知度量方面表现出较高水平。

🏷️

标签

➡️

继续阅读