利用领域转移SDE驯化扩散先验进行图像超分辨率

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

扩散方法在图像超分辨率中表现优异,但低分辨率图像的降质问题影响效果。为此,提出了XPSR框架,利用多模态大语言模型获取精确语义条件,并引入语义融合注意机制。通过无降质约束,XPSR在合成和真实数据集上生成高保真图像。代码将发布在GitHub。

🎯

关键要点

  • 扩散方法在图像超分辨率中表现优异,但低分辨率图像的降质问题影响效果。

  • 提出了基于跨模态先验的超分辨率框架(XPSR)。

  • XPSR利用多模态大语言模型获取精确语义条件。

  • 引入语义融合注意机制以更好地融合跨模态先验。

  • 添加无降质约束以提取保留语义信息,避免不必要的降质。

  • XPSR在合成和真实数据集上生成高保真度和高真实性的图像。

  • 代码将在GitHub上发布。

➡️

继续阅读