适用于逆问题的激发调整潜在扩散模型
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该文介绍了一种使用文本到图像潜在扩散模型作为通用先验来解决图像逆问题的新方法。通过 prompt 调整方法和投影方法,能够生成更符合扩散先验的图像,并且在超分辨率、去模糊和修复缺失部分等任务上优于基于图像和潜在扩散模型的逆问题求解器。
🎯
关键要点
- 提出了一种使用文本到图像潜在扩散模型作为通用先验的新方法。
- 引入了 prompt 调整方法,通过动态优化文本嵌入生成更符合扩散先验的图像。
- 提出了一种投影方法,以保持潜在变量在编码器的范围空间内的演化,减少图像伪影问题。
- 综合方法 P2L 在超分辨率、去模糊和修复缺失部分等任务上优于基于图像和潜在扩散模型的逆问题求解器。
➡️