FineDiffusion：用于细粒度图像生成的扩展扩散模型，具备 10,000 个类别的规模
内容提要
该文综述扩散模型的多项进展：DiffFit实现高效微调并加速两倍；分类器引导提升图像合成质量；蒸馏法加快采样；无训练方法生成超高分辨率图像；级联模型提升ImageNet生成效果；Patch Diffusion降低训练成本；DomainStudio实现少样本生成；条件蒸馏简化流程；Diffusion Inversion生成高质量训练图；微调文本到图像模型提升分类准确率。
延伸解读
扩散模型效率优化：微调与蒸馏
文章介绍了DiffFit和蒸馏方法，旨在提升扩散模型的训练和推理效率。DiffFit通过仅微调偏差项和缩放因子，实现2倍训练加速和低存储成本，在8个下游数据集上表现竞争性。蒸馏方法将分类器自由引导扩散模型蒸馏为更快采样的模型，减少推理时间且保持图像有效性。这些技术有助于降低扩散模型的应用门槛。
生成质量与分辨率提升技术
分类器引导和级联扩散模型提升了图像合成质量。分类器引导在FID指标和覆盖分布上优于现有模型；级联模型结合条件增强，在ImageNet生成基准上取得优越的FID分数和分类精度。此外，无训练方法通过重新扩张卷积感知域和引入分散卷积，实现了超高分辨率图像生成，解决了物体重复和不合理结构问题，提示低分辨率训练模型可直接用于高分辨率生成。
训练成本降低与少样本适应
Patch Diffusion框架通过Patch级条件分数函数和随机多尺度训练，显著减少训练时间成本并提高数据效率。DomainStudio方法将预训练DDPMs调整到目标域，实现无条件少样本图像生成。这些方法帮助更广泛的用户以较低成本训练和适应扩散模型，推动扩散模型在数据稀缺场景下的应用。
数据增强与分类性能提升
Diffusion Inversion利用Stable Diffusion将图像倒换到潜在空间，生成多样高质量训练图片，提高样本复杂度并缩短采样时间，优于泛化提示导向方法和KNN检索基线，且兼容常见数据增强技术。微调大规模文本到图像扩散模型用于分类条件模型，显著提升ImageNet分类准确率，证明了生成数据增强的可行性。
Q&A
DiffFit 是什么？它有什么优势？
DiffFit 是一种参数高效的微调策略，用于大规模预训练扩散模型，实现对新领域的快速适应。它只需微调特定层中的偏差项和新加入的缩放因子，相比完整微调，训练速度提升 2 倍，模型存储成本极低，并在 8 个下游数据集上取得竞争性性能。
如何加速扩散模型的采样过程？
可以通过蒸馏方法将分类器自由引导扩散模型蒸馏为更快采样的模型，以减少推理时间，同时保持与原始模型相当的图像有效性。
无训练方法如何实现超高分辨率图像生成？
通过重新扩张限制性卷积感知域、引入分散卷积和抑噪无监督引导，无需任何训练或优化即可实现超高分辨率图像生成，并解决物体重复和不合理结构的问题。该方法还提示低分辨率训练模型可直接用于高分辨率图像生成。
Patch Diffusion 是什么？它如何降低训练成本？
Patch Diffusion 是一种通用的 Patch-wise 训练框架，其核心是新的条件分数函数，在原始图像的 Patch 级别包括 Patch 位置作为附加坐标通道，并通过在多个尺度上对 Patch 大小进行随机和多样化训练，显著减少训练时间成本，同时提高数据效率。
DomainStudio 方法有什么作用？
DomainStudio 用于将在大规模源数据集上预训练的 DDPMs 调整到目标域，以在目标域中生成高质量且具有多样性的样本，实现无条件少样本图像生成。
Diffusion Inversion 如何生成高质量训练图像？
Diffusion Inversion 使用预训练的生成模型 Stable Diffusion，通过将图像倒换到其潜在空间中来捕获原始数据分布并确保数据覆盖，从而生成多样高质量的训练图片。该方法通过三个关键部件成功替换原始数据集，提高样本复杂度并缩短采样时间，优于泛化提示导向方法和 KNN 检索基线，且与常见数据增强技术兼容，提高少样本学习的可靠性。
