使用量化扩散模型进行内存高效个性化
内容提要
该文综述扩散模型量化研究：EfficientDM用量化感知低秩适配器兼顾QAT级性能与PTQ效率；PCR提出渐进校准与激活放松，并构建QDiffBench基准，首次实现SDXL无损量化；此外还探讨了QAT与蒸馏结合、混合精度位宽选择、无数据后训练量化及分布对齐等方法，以提升低位扩散模型的图像质量与效率。
延伸解读
量化扩散模型的两条技术路线
文章梳理了扩散模型量化的两类路径：EfficientDM 代表量化感知训练（QAT）路线，通过低秩适配器在保持 QAT 级性能的同时接近训练后量化（PTQ）的效率；PCR 则代表 PTQ 路线，用渐进校准和激活放松降低量化误差。两者分别从训练介入和推理后处理切入，读者可据此判断不同方案对数据、算力和部署条件的依赖。
评估基准为何需要专门设计
文章指出，文本到图像扩散模型量化的先前度量并不准确，因此提出 QDiffBench 基准，使用同领域数据进行更准确的评估，并考察量化模型在校准数据集之外的泛化性能。这意味着仅看常规指标可能高估量化效果，读者在比较不同量化方法时，应关注评估数据是否与任务领域一致、是否覆盖校准集外的场景。
SDXL 无损量化的意义与边界
文章称 PCR 首次在保持性能的同时实现 Stable Diffusion XL 的量化，这对较大模型在有限资源下部署具有参考价值。但需注意，这一结论建立在作者提出的 QDiffBench 评估之上，且文章未给出具体压缩率、硬件条件和速度数据。读者应将其视为方法可行性的信号，而非可直接套用的性能承诺。
低位量化的多种辅助手段
除 QAT 与 PTQ 外，文章还提到量化感知训练结合蒸馏、混合精度位宽选择、无数据后训练量化以及分布对齐等方法。这些手段分别针对 CPU 高效推理、降噪步骤位宽分配、校准数据缺失和分布不匹配等问题。它们说明低位扩散模型的质量提升往往需要组合多种策略，而非单一量化技巧。
Q&A
EfficientDM 是如何在低位扩散模型上实现 QAT 级别性能的？
EfficientDM 通过引入量化感知的低秩适配器 QALoRA，在保持 PTQ 效率的同时达到 QAT 级别的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。
PCR 方法包含哪些策略来提升量化扩散模型的性能？
PCR 包含渐进校准策略和激活放松策略。渐进校准考虑了时间步长上的积累量化误差，激活放松在性能提升方面几乎没有成本。
QDiffBench 基准解决了现有评估中的什么问题？
QDiffBench 解决了先前文本到图像扩散模型量化度量不准确的问题，利用相同领域的数据进行更准确的评估，并考虑了量化模型在校准数据集之外的泛化性能。
首次实现 Stable Diffusion XL 无损量化的方法是什么？
是 PCR（渐进校准和放松）方法，它首次在保持性能的同时实现了 Stable Diffusion XL 的量化。
如何通过混合精度方案提升量化扩散模型的样本质量？
该研究提出了一种用于量化噪声和扩散扰动噪声的统一方法，并使用混合精度方案校准降噪方差表并选取每个降噪步骤的最佳位宽，从而显著提高样本质量并减少操作次数。
无数据后训练量化框架如何提高量化图像生成的泛化能力？
该框架采用组内量化函数设计不同步骤的激活离散化，对最优步骤进行信息量化图像生成，从而提高量化图像生成的泛化能力，并在类似计算成本下优于扩散模型的最新后训练量化技术。
