增强的分布对齐用于后训练量化扩散模型
内容提要
本文综述扩散生成模型的量化加速方法：通过压缩去噪网络，将全精度模型量化为8位且无需重训，并兼容快速采样。研究涵盖混合精度校准、无数据高效优化EfficientDM、渐进校准PCR与QDiffBench基准、基于信噪比的敏感部分量化、无数据后训练量化、时间特征维护4位量化、十亿参数模型微调量化及FDDA数据分布对齐等，显著提升样本质量并降低计算成本。
延伸解读
量化扩散模型的关键挑战与应对思路
扩散模型去噪网络计算成本高，后训练量化（PTQ）无需重训即可压缩至8位，但直接量化会引入噪声累积和激活分布偏移。文章梳理的混合精度校准、渐进校准（PCR）和信噪比（SQNR）敏感部分量化，分别从位宽分配、时间步误差补偿和局部敏感层识别入手，在保持采样速度的同时提升样本质量。这些方法共同说明：量化扩散模型不能只做逐层均匀压缩，需结合去噪过程的时间特性。
无数据量化与低秩适配的实用价值
EfficientDM通过量化感知低秩适配器QALoRA，在无数据条件下达到接近量化感知训练（QAT）的效果，同时保持PTQ的效率。另一项工作提出基于扩散模型的无数据PTQ框架，利用组内量化函数对不同步骤的激活进行离散化。对于缺乏原始训练数据或计算资源有限的场景，这类方法降低了部署门槛，但文章也指出其性能仍受校准数据分布影响，泛化能力需结合QDiffBench等基准评估。
评估基准与低位量化的进展
文章指出先前文本到图像扩散模型量化度量不准确，并提出QDiffBench基准，利用同领域数据评估量化模型在校准集之外的泛化性能。在低位量化方面，时间特征维护方法在4位权重下实现接近全精度的性能，且在LSUN-Bedrooms上加速2倍；针对十亿参数模型，微调量化策略提升了个性化与提示保真度。这些进展表明，低位量化正从分类任务向生成任务扩展，但评估需更贴近实际生成质量。
数据分布对齐对后训练量化的影响
FDDA方法基于深层网络中批量规范化统计量（BNS）的类间分离和类内不凝聚特性，通过中心化损失和高斯噪声模拟不凝聚、畸变损失来对齐校准数据分布。在ImageNet上，尤其将第一层和最后一层量化为低位时，FDDA展现出最先进性能。这提示读者：后训练量化的瓶颈之一在于校准数据与真实数据分布不匹配，细粒度分布对齐是提升低位量化效果的有效方向，但需注意其依赖BNS的模型结构。
Q&A
扩散模型量化加速的基本思路是什么？
通过对去噪网络进行压缩，在不重新训练的情况下将全精度扩散模型量化为8位模型，并可结合其他快速采样方法使用。
EfficientDM方法有什么特点？
EfficientDM是一种数据自由且参数高效的优化方法，通过引入量化感知的低秩适配器QALoRA，实现QAT级别的性能与PTQ的效率相似，在时间和数据效率上显著超过之前基于PTQ的扩散模型。
PCR方法如何提升文本到图像扩散模型的量化性能？
PCR（渐进校准和放松）包括渐进校准策略（考虑时间步长上的积累量化误差）和激活放松策略（以几乎无成本提升性能），并提出了新的QDiffBench基准用于更准确评估。
如何利用信噪比（SQNR）进行扩散模型的量化？
将相对量化噪声视为噪声，利用SQNR作为评估指标识别模型中的敏感部分，并提出既包括全局策略又包括局部策略的高效量化方法，实验表明能高效量化并压缩LDMs。
FDDA方法是什么？它如何提升后训练量化的性能？
FDDA是细粒度数据分布对齐方法，基于批量规范化统计量（BNS）的类间分离和类内不凝聚属性，通过计算校准数据集的每一类BNS作为中心，提出中心化损失（加入高斯噪声模拟不凝聚）和畸变损失，在ImageNet上达到最先进性能。
针对十亿参数扩散模型的量化有哪些策略？
探索了细调量化扩散模型的领域，提出了两种策略以增强个性化、保持提示保真度和图像质量，显著超越基线模型的质量和数量性能。
