ConsisSR:深入探讨基于扩散的图像超分辨率中的一致性
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
扩散方法在图像超分辨率中表现优异,但低分辨率图像的降质问题影响效果。为解决此问题,提出了基于跨模态先验的超分辨率框架(XPSR),利用多模态大语言模型获取扩散模型的语义条件,并引入语义融合注意机制。XPSR在无降质约束下,在合成和真实数据集上生成高保真图像。代码将发布在GitHub。
🎯
关键要点
-
扩散方法在图像超分辨率中表现优异,但低分辨率图像的降质问题影响效果。
-
提出了基于跨模态先验的超分辨率框架(XPSR)。
-
XPSR利用多模态大语言模型获取扩散模型的语义条件。
-
引入语义融合注意机制以更好地融合跨模态先验。
-
在LR图像与其高分辨率对应物之间添加无降质约束以提取保留语义信息。
-
XPSR在合成和真实数据集上生成高保真图像。
-
代码将在GitHub上发布。
➡️