SaRA：高效扩散模型的渐进稀疏低秩适应微调
内容提要
该论文提出了多种高效的扩散模型微调策略，包括DiffFit和SDFT，旨在快速适应新领域并提升生成能力。研究还探讨了低秩适应性与模型蒸馏结合的方法，显著降低内存消耗和推理时间，并提出了新的谱感知适应框架SODA，以优化生成模型的参数适应。
延伸解读
参数高效微调的实际收益
DiffFit仅微调偏差项和缩放因子，相比完整微调实现2倍训练加速，并大幅降低存储成本。这意味着在资源受限环境下，研究者可以更快速地适应扩散模型到新领域，而无需从头训练或占用大量显存。
蒸馏与低秩适配的组合优势
将LoRA与模型蒸馏结合，不仅减少推理时间，还使内存消耗降低50%，且不牺牲生成质量。这提示在模型压缩时，低秩适配可作为蒸馏的补充，缓解传统蒸馏带来的内存增加问题，为部署高效生成模型提供新思路。
架构简化与推理速度提升
通过简化U-Net和图像解码器，并引入一步式训练，SDXS模型在单个GPU上实现高帧率推理（比SD v1.5快30倍）。这表明在追求实时生成应用时，架构精简与训练策略创新同样关键，且可能拓展到图像转换等任务。
谱感知适应的潜在价值
SODA框架通过调整预训练权重的奇异值和基向量，实现参数高效适应。这提供了一种不同于传统微调的新视角，可能对保持模型泛化能力、避免灾难性遗忘有积极意义，值得在更多生成模型上验证。
Q&A
DiffFit是什么，它的主要优势是什么？
DiffFit是一种参数高效的微调策略，能够快速适应新领域，主要优势在于只需微调特定层的偏差项和缩放因子，实现2倍的训练加速和极低的存储成本。
自我蒸馏Fine-Tuning扩散模型（SDFT）是如何增强生成能力的？
SDFT通过提取源模型的多样特征和领域特定特征，进行知识传递，从而增强模型在有限数据集上的生成能力。
低秩适应性与模型蒸馏结合的好处是什么？
结合低秩适应性与模型蒸馏的方法有效压缩扩散模型，减少推理时间和内存消耗，内存消耗可减少50%。
新提出的谱感知适应框架SODA有什么特点？
SODA通过调整预训练权重的奇异值和基向量，实现参数高效适应，提供了一种替代现有微调方法的有效选择。
该研究如何提高高分辨率图像生成的效率？
研究通过引入扩散状态空间模型（DiffuSSM）架构，显著降低计算复杂度，并提高生成图像质量。
如何通过简化模型结构来提升推理速度？
通过简化U-Net和图像解码器结构，结合一步式DM训练技术，显著提升了推理速度，SDXS-512和SDXS-1024模型在单个GPU上实现了高达100帧每秒的速度。
