QuEST: 低比特扩散模型量化的高效选择性微调
内容提要
扩散模型量化研究综述：EfficientDM通过量化感知低秩适配器实现QAT级性能与PTQ效率；其他方法包括量化感知训练与蒸馏结合、动态调整量化间隔、统一量化噪声与扩散扰动噪声、混合精度位宽选择、渐进校准与放松（PCR）及QDiffBench基准、无数据后训练量化、时间特征维护、8位免重训练压缩、基于SQNR的全局与局部量化策略，旨在提升低位扩散模型的图像质量与推理效率。
延伸解读
量化扩散模型的两条技术路线
文章梳理了扩散模型量化的主要方向：训练后量化（PTQ）与量化感知训练（QAT）。PTQ无需重新训练，效率高但精度损失较大；QAT通过微调恢复性能，但计算和数据成本高。EfficientDM试图结合两者优势，通过量化感知低秩适配器实现QAT级性能与PTQ效率，为实际部署提供了折中方案。
评估基准的改进与泛化考量
文章指出先前文本到图像扩散模型量化的评估度量不准确，并介绍了QDiffBench基准。该基准使用同领域数据进行更准确的评估，并考虑量化模型在校准数据集之外的泛化性能。这意味着仅依赖传统指标可能高估量化效果，读者应关注模型在未见数据上的表现。
低比特量化的实际收益与限制
文章提到多种方法在4位或8位量化下取得进展，例如时间特征维护方法在4位权重下性能接近全精度，且无额外计算成本，在LSUN-Bedrooms上加速2倍；8位免重训练压缩可与其他快速采样方法结合。这些结果展示了低比特量化的潜力，但具体加速和保真度因模型、数据集和硬件而异，需结合实际场景评估。
Q&A
EfficientDM 是如何实现低比特扩散模型的高效微调的？
EfficientDM 通过引入量化感知的低秩适配器 QALoRA，实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。
扩散模型量化中如何统一量化噪声和扩散扰动噪声？
研究提出了一种统一量化噪声和扩散扰动噪声的方法，并使用混合精度方案，校准降噪方差表并选取每个降噪步骤的最佳位宽，显著提高了量化后扩散模型的样本质量且减少了操作次数。
PCR 方法在文本到图像扩散模型的后训练量化中有什么特点？
PCR（渐进校准和放松）包括渐进校准策略，考虑时间步长上的积累量化误差，以及激活放松策略，在性能提升方面几乎没有成本。同时，文章指出了先前度量不准确的问题，并提出了 QDiffBench 基准，利用相同领域数据进行更准确的评估，还考虑了量化模型在校准数据集之外的泛化性能。
有哪些无数据后训练量化方法用于扩散模型？
文章提到了一种基于扩散模型的精确无数据后训练量化框架，采用组内量化函数设计不同步骤的激活离散化，对最优步骤进行信息量化图像生成，以提高量化图像生成的泛化能力。实验表明，在类似计算成本下，该方法优于扩散模型的最新后训练量化技术。
如何在不重新训练的情况下将扩散模型量化为 8 位？
文章介绍了一种方法，通过对去噪网络进行压缩，在不进行重新训练的情况下，将完全精度的扩散模型量化为 8 位模型，并可在其他快速采样方法上使用。
基于 SQNR 的量化策略如何压缩潜在扩散模型？
研究提出了一种高效的量化策略，利用信噪比（SQNR）作为评估指标，将相对量化噪声视为噪声，识别模型中的敏感部分，并提出了既包括全局策略又包括局部策略的高效量化方法。实验结果表明，实施全局和局部策略能够高效地量化并有效地压缩潜在扩散模型（LDMs）。
