ConsisSR:深入探讨基于扩散的图像超分辨率中的一致性

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

扩散方法在图像超分辨率中表现优异,但低分辨率图像的降质问题影响效果。为解决此问题,提出了基于跨模态先验的超分辨率框架(XPSR),利用多模态大语言模型获取扩散模型的语义条件,并引入语义融合注意机制。XPSR在无降质约束下,在合成和真实数据集上生成高保真图像。代码将发布在GitHub。

🎯

关键要点

  • 扩散方法在图像超分辨率中表现优异,但低分辨率图像的降质问题影响效果。

  • 提出了基于跨模态先验的超分辨率框架(XPSR)。

  • XPSR利用多模态大语言模型获取扩散模型的语义条件。

  • 引入语义融合注意机制以更好地融合跨模态先验。

  • 在LR图像与其高分辨率对应物之间添加无降质约束以提取保留语义信息。

  • XPSR在合成和真实数据集上生成高保真图像。

  • 代码将在GitHub上发布。

➡️

继续阅读