分布反向追踪构建更快收敛轨迹的单步扩散蒸馏
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了扩散模型采样速度缓慢的问题，提出了一种新的分布反向追踪蒸馏方法（DisBack）。该方法通过记录教师模型的收敛轨迹并回溯中间分布，实现了比现有蒸馏方法更快的收敛速度和良好的生成性能，具有易于实施和广泛推广的潜力。
本文介绍了一种名为Score identity Distillation（SiD）的无数据方法，通过将预训练扩散模型的生成能力提炼到一个单步生成器中，实现了快速的Fréchet inception distance (FID) 减小。SiD算法在蒸馏过程中显示出高迭代效率，并超越了其他蒸馏方法，无论是一步还是几步，无数据还是依赖于训练数据。这一成就不仅重新定义了扩散蒸馏中效率和效果的基准，还在更广泛的扩散生成领域中也有着重要的意义。
