得分遗忘蒸馏:一种快速无数据的扩散模型机器遗忘方法
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了现代生成AI模型机器遗忘的挑战,提出了一种新的方法——得分遗忘蒸馏(SFD),旨在安全地遗忘不需要的信息。通过将“非安全”类的条件得分与“安全”类对齐,SFD能够在不依赖真实数据的情况下快速实现遗忘,同时保持生成质量,推动了扩散模型生成速度的提升,具有重要的应用价值。
本文介绍了一种名为Score identity Distillation(SiD)的无数据方法,通过将预训练扩散模型的生成能力提炼到一个单步生成器中,实现了快速的Fréchet inception distance (FID)减小。SiD算法在蒸馏过程中显示出高迭代效率,并超越了其他蒸馏方法,在生成质量方面具有竞争力。这一成就不仅重新定义了扩散蒸馏中效率和效果的基准,还在更广泛的扩散生成领域中也有着重要的意义。