量化扩散变压器分析

本文探讨了加速去噪扩散生成模型的生成过程，提出高效的量化策略和优化方法。

研究提出了一种高效的量化策略，利用信噪比作为评估指标，识别模型中的敏感部分。

提出了一种数据自由且参数高效的优化方法 EfficientDM，通过量化感知的低秩适配器实现性能优化。

提出了一种用于量化噪声和扩散扰动噪声的统一方法，显著提高了量化后扩散模型的样本质量。

优化的分布对齐方法增强了扩散模型的后训练量化，提高了噪声估计任务中的性能。

提出了一种特定的后训练量化方法 PTQ4DiT，解决了 Diffusion Transformers 中的量化挑战。

提出了一种基于拓散模型的精确无数据后训练量化框架，旨在提高量化图像生成的泛化能力。

展示了文本到图像扩散模型量化的先前度量不准确的问题，并提出了新的 QDiffBench 基准。

通过实验验证了所提出的方法和基准的优越性，首次实现了 Stable Diffusion XL 的量化。

开发了混合精度量化框架 MixDQ，实现了模型大小和内存成本的显著减少。