OpenAI
·
一致性模型训练的改进技术
内容提要
一致性模型是一种新兴的生成模型，能够一步生成高质量数据，无需对抗训练。通过改进一致性训练技术，模型直接从数据中学习，避免了蒸馏带来的质量限制。采用伪霍伯损失替代LPIPS，并结合新的噪声调度和超参数调整，使模型在CIFAR-10和ImageNet 64×64上显著提升FID分数，超越了以往方法。
关键要点
-
一致性模型是一种新兴的生成模型，能够一步生成高质量数据，无需对抗训练。
-
当前一致性模型通过从预训练的扩散模型蒸馏和使用学习的度量（如LPIPS）来实现最佳样本质量。
-
蒸馏限制了一致性模型的质量，而LPIPS在评估中引入了不良偏差。
-
提出改进的一致性训练技术，使模型直接从数据中学习，避免了蒸馏的影响。
-
消除了教师一致性模型中的指数移动平均，以解决之前被忽视的缺陷。
-
采用伪霍伯损失替代LPIPS，并引入对数正态噪声调度。
-
提出在每设定的训练迭代次数后将总离散步骤加倍的策略。
-
通过更好的超参数调整，这些修改使一致性模型在CIFAR-10和ImageNet 64×64上分别实现了2.51和3.25的FID分数。
-
这些分数相比于以往的一致性训练方法有3.5倍和4倍的提升。
-
通过两步采样，进一步将FID分数降低到2.24和2.77，超越了蒸馏方法的结果，缩小了一致性模型与其他最先进生成模型之间的差距。
延伸问答
一致性模型是什么？
一致性模型是一种新兴的生成模型，能够一步生成高质量数据，无需对抗训练。
一致性模型的训练技术有哪些改进？
改进的一致性训练技术包括直接从数据中学习、采用伪霍伯损失替代LPIPS、引入对数正态噪声调度，以及在每设定的训练迭代后加倍总离散步骤。
为什么蒸馏会限制一致性模型的质量？
蒸馏限制了一致性模型的质量，因为它将模型的性能限制在预训练的扩散模型的水平。
伪霍伯损失的作用是什么？
伪霍伯损失用于替代LPIPS，以减少评估中的不良偏差，提升模型的样本质量。
一致性模型在CIFAR-10和ImageNet上的表现如何？
一致性模型在CIFAR-10和ImageNet 64×64上分别实现了2.51和3.25的FID分数，较以往方法有显著提升。
如何通过两步采样进一步提升FID分数？
通过两步采样，一致性模型的FID分数进一步降低到2.24和2.77，超越了蒸馏方法的结果。
