Flash Diffusion: 加速任何有条件扩散模型的少步图像生成

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型的方法,以加速推理过程并保持图像质量。该方法使用扩散模型的噪声到图像对进行图像转换任务,并提出了一种在扩散模型潜空间中操作的感知损失。实验证明该方法在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型。

🎯

关键要点

  • 提出了一种将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型的方法。
  • 该方法加速推理过程,同时保持图像质量。
  • 将扩散提炼视为图像到图像转换任务,使用扩散模型 ODE 轨迹的噪声到图像对。
  • 提出了一种在扩散模型潜空间中操作的感知损失 E-LatentLPIPS,利用增强的集合。
  • 改进了扩散模型,构建了多尺度鉴别器,具有文本对齐损失。
  • E-LatentLPIPS 在数据集构建成本上比许多现有提炼方法更高效。
  • 在零样本 COCO 基准测试中,一步生成器优于最先进的一步扩散提炼模型 DMD、SDXL-Turbo 和 SDXL-Lightning。
➡️

继续阅读