通过得分隐式匹配实现一步扩散蒸馏
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了扩散模型生成现实样本时所需的多次采样步骤的问题。提出了一种名为得分隐式匹配(SIM)的新方法,能够将预训练的扩散模型蒸馏为单步生成模型,同时保持几乎相同的样本生成能力,并且不需要训练样本进行蒸馏。实验结果表明,SIM在CIFAR10数据集上的单步生成器表现优异,且成功应用于文本生成图像的转换中。
我们提出了一种无数据的创新方法——Score identity Distillation(SiD),将预训练扩散模型的生成能力提炼到单步生成器中。通过重构前向扩散过程并利用与分数相关的身份,SiD实现了高效生成,显著缩短了生成时间,并在多个基准数据集上超越了其他蒸馏方法。我们的PyTorch实现将公开在GitHub上。