QNCD: 扩散模型的量化噪声校正
内容提要
本研究提出了一种高效的量化方法，优化了扩散模型的性能，显著提高了生成图像的质量。通过引入量化感知训练和新基准QDiffBench，解决了低位量化对模型性能的影响，实现了在低位宽下的高效推断。实验结果表明，该方法在保持性能的同时，提升了生成速度和准确性。
延伸解读
量化扩散模型的关键挑战
扩散模型生成质量高，但计算成本大，量化是压缩和加速的有效手段。然而，低位量化会引入量化噪声，与扩散过程本身的扰动噪声叠加，导致生成图像质量下降。文章指出，如何统一处理这两类噪声，并在减少操作次数的同时保持性能，是量化扩散模型的核心难题。
混合精度与敏感部分识别
文章提出的混合精度方案通过校准降噪方差表，为每个降噪步骤选取最佳位宽，从而在减少操作次数的同时提升样本质量。此外，利用信噪比（SQNR）作为评估指标，可以识别模型中对量化敏感的部分，进而实施全局或局部量化策略，实现高效压缩。
后训练量化与评估基准
针对后训练量化（PTQ），文章介绍了PCR方法，它考虑时间步长上的积累量化误差，并通过渐进校准和激活放松来提升性能。同时，文章指出先前评估指标不准确的问题，提出了QDiffBench基准，该基准使用同领域数据评估，并考虑模型在校准数据集之外的泛化性能，为量化模型提供了更可靠的评价。
高效推断与实际部署
在部署方面，EfficientDM通过量化感知的低秩适配器实现QAT级别的性能与PTQ的效率。基于时间特征维护的量化方法在4位权重量化下达到与全精度模型相媲美的性能，且无额外计算成本，在LSUN-Bedrooms上实现了2倍加速。结合量化感知训练和蒸馏，新方法在CPU上也能高效推断并保持高图像质量。
Q&A
QNCD方法如何提高扩散模型的生成图像质量？
QNCD方法通过统一量化噪声和扩散扰动噪声，优化降噪方差表，选择最佳位宽，从而显著提高了生成图像的质量。
什么是QDiffBench基准，它的作用是什么？
QDiffBench基准是一种新的评估工具，提供更准确的量化模型评估，考虑模型在校准数据集之外的泛化性能。
如何通过量化感知训练提高扩散模型的性能？
量化感知训练结合蒸馏方法，优化活化分布和关键量化层，从而在保持高图像质量的同时提升模型的推断能力。
EfficientDM方法的主要优势是什么？
EfficientDM是一种数据自由且参数高效的优化方法，显著提高了低位扩散模型的性能，并在时间和数据效率上超过了之前的模型。
在低位宽下，如何实现与全精度模型相媲美的性能？
通过基于时间特征维护的量化方法，可以在4位权重量化下实现与全精度模型相媲美的性能，且无额外计算成本。
QNCD方法在生成速度和准确性方面的表现如何？
QNCD方法在保持性能的同时，显著提升了生成速度和准确性，优化了扩散模型的推断效率。
