DisCo-Diff: 使用离散潜变量增强连续扩散模型

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型的方法,以加速推理过程并保持图像质量。该方法通过图像到图像转换任务和扩散模型的噪声到图像对,将扩散提炼解释为图像转换任务。实验证明该方法在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型。

🎯

关键要点

  • 提出了一种将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型的方法。
  • 该方法加速推理过程,同时保持图像质量。
  • 将扩散提炼解释为图像到图像转换任务,使用扩散模型 ODE 轨迹的噪声到图像对。
  • 提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS,利用增强的集合。
  • 改进了扩散模型,构建了一个多尺度鉴别器,具有文本对齐损失。
  • 建立了一种有效的基于条件生成对抗网络的公式。
  • E-LatentLPIPS 在数据集构建成本方面比许多现有的提炼方法更高效。
  • 一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 DMD、SDXL-Turbo 和 SDXL-Lightning。
➡️

继续阅读