知识集成与扩展在扩散模型中的应用
内容提要
本文回顾了扩散模型，提出了变分扩散模型（VDM）和实用插播（PPAP）框架，利用无标记数据进行条件分布学习。研究表明，DiffFit策略能有效微调扩散模型，提升分类准确性。同时探讨了扩散模型在数据增强中的潜力，提出Patch Diffusion框架以提高训练效率。最后，介绍了自我蒸馏Fine-Tuning和新蒸馏方法，以优化推理计算时间和生成质量。
延伸解读
扩散模型的理论统一：从变分到分数
文章回顾了扩散模型在变分和基于分数视角下的统一理解，提出变分扩散模型（VDM），并证明优化VDM等价于学习神经网络预测原始源输入、原始源噪声或噪声输入的分数函数。这一理论联系为后续条件生成和引导方法提供了基础，也解释了扩散模型为何能通过分数匹配进行训练。
高效微调与引导：PPAP和DiffFit的实用价值
PPAP框架利用参数高效微调和无标记数据，让多个专家针对不同噪声范围引导扩散反转过程，实验证明其能以少量可训练参数和无标记数据成功引导GLIDE。DiffFit则通过仅微调偏差项和缩放因子，实现2倍训练加速和极低存储成本，在8个下游数据集上表现突出，为大规模扩散模型快速适应新领域提供了可行方案。
数据增强的潜力与局限：生成数据能否提升下游任务
研究显示，使用大规模文本到图像扩散模型微调分类条件模型，能显著提升ImageNet分类准确性，证明生成数据增强的可行性。但作者也指出，将扩散模型个性化到目标数据的方法优于简单提示策略，而直接使用扩散模型训练数据通过最近邻检索反而能提升下游性能。这揭示了扩散模型在数据增强方面的局限性，同时突显了其生成新训练数据的潜力。
训练与推理优化：Patch Diffusion和蒸馏方法
Patch Diffusion框架通过引入Patch级条件分数函数，将Patch位置作为附加坐标通道，并在多个尺度上随机多样化Patch大小，显著减少训练时间并提高数据效率。此外，自我蒸馏Fine-Tuning（SDFT）利用预训练扩散模型的多样特征，在有限目标数据集上传递知识，增强生成能力；新蒸馏方法仅需基础模型1%的可训练参数，即可减少推理计算时间并维持视觉逼真度。
Q&A
什么是变分扩散模型（VDM）？
变分扩散模型（VDM）是一种通过学习神经网络来预测原始源输入的分数函数，从而优化扩散模型的方法。
DiffFit策略的主要优势是什么？
DiffFit策略能够对大规模预先训练的扩散模型进行快速微调，实现2倍的训练加速和极低的模型存储成本。
实用插播（PPAP）框架的作用是什么？
实用插播（PPAP）框架利用无标记数据进行条件分布学习，成功引导扩散过程。
扩散模型在数据增强方面的潜力如何？
扩散模型在数据增强方面具有显著潜力，能够生成新训练数据以提高下游视觉任务的性能。
Patch Diffusion框架的创新点是什么？
Patch Diffusion框架的创新在于引入新的条件分数函数，并在Patch级别上随机和多样化Patch大小，从而提高数据效率。
自我蒸馏Fine-Tuning的目的是什么？
自我蒸馏Fine-Tuning旨在通过提取源模型的多样特征，增强扩散模型在有限数据集上的生成能力。
