用于文本引导图像编辑的可逆一致性蒸馏方法(约 7 步)
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
该研究提出了一种将复杂的多步扩散模型转化为单步有条件生成对抗网络学生模型的方法,以加速推理过程并保持图像质量。通过将扩散模型解释为图像到图像转换任务,并使用扩散模型ODE轨迹的噪声到图像对,实现了高效的回归损失计算。此外,通过改进扩散模型,构建多尺度鉴别器,并建立有效的基于条件生成对抗网络的公式,该方法在零样本COCO基准测试中优于最先进的扩散提炼模型。
🎯
关键要点
- 提出了一种将复杂的多步扩散模型转化为单步有条件生成对抗网络学生模型的方法。
- 该方法加速推理过程,同时保持图像质量。
- 将扩散提炼解释为图像到图像转换任务,使用扩散模型ODE轨迹的噪声到图像对。
- 提出了一种在扩散模型潜空间中直接操作的感知损失E-LatentLPIPS,利用增强的集合进行高效的回归损失计算。
- 改进了扩散模型,构建了多尺度鉴别器,具有文本对齐损失。
- 建立了一种有效的基于条件生成对抗网络的公式,E-LatentLPIPS比许多现有的提炼方法更高效。
- 在零样本COCO基准测试中,证明了一步生成器优于最先进的一步扩散提炼模型DMD、SDXL-Turbo和SDXL-Lightning。
➡️