高质量扩散模型的低比特浮点量化
内容提要
本研究提出了一种统一的量化噪声和扩散扰动噪声的方法，显著提升了扩散模型的样本质量。通过引入量化感知的低秩适配器和新的后训练量化方法，优化了低位扩散模型的性能，解决了低位量化对模型性能的影响，展示了在资源有限场景中的优势。
延伸解读
量化噪声与扩散扰动噪声的统一处理
文章提出将量化噪声与扩散扰动噪声统一处理的方法，并采用混合精度方案校准降噪方差表、选取每个降噪步骤的最佳位宽。这一思路从噪声建模层面入手，而非仅调整量化参数，为提升量化扩散模型样本质量提供了新角度，同时减少了操作次数。
QALoRA：数据高效的低位扩散模型优化
EfficientDM 通过引入量化感知的低秩适配器 QALoRA，试图在量化感知训练（QAT）的性能与训练后量化（PTQ）的效率之间取得平衡。该方法无需大量数据，在时间和数据效率上显著优于此前基于 PTQ 的扩散模型，适合资源受限场景。
PCR 与 QDiffBench：后训练量化及评估改进
PCR 方法包含渐进校准和激活放松两种策略，前者考虑时间步上的累积量化误差，后者以极低成本提升性能。文章还指出先前文本到图像扩散模型量化评估指标不准确，并提出 QDiffBench 基准，使用同领域数据评估，同时考察模型在校准数据集之外的泛化性能。
超低位量化进展：从 BinaryDM 到 1.99 位
BinaryDM 利用可学习多基二值化器和低秩表示模仿，将扩散模型权重推向 1 位，在 1 位权重和 4 位激活下实现 16.0 倍 FLOPs 和 27.1 倍存储节省。后续工作将 Stable Diffusion v1.5 的 UNet 量化为 1.99 位，模型尺寸减小 7.9 倍，生成质量更好，展示了超低位量化的潜力。
Q&A
什么是量化感知的低秩适配器QALoRA？
QALoRA是一种引入量化感知的低秩适配器，用于优化低位扩散模型的性能，提升时间和数据效率。
如何提高扩散模型的样本质量？
通过提出统一的量化噪声和扩散扰动噪声的方法，可以显著提高量化后扩散模型的样本质量。
新的后训练量化方法PCR有什么特点？
PCR方法包括渐进校准策略和激活放松策略，几乎没有成本地提升文本到图像扩散模型的性能。
BinaryDM方法如何提高二元化感知优化的精度？
BinaryDM利用Learnable Multi-basis Binarizer和Low-rank Representation Mimicking来显著提高二元化感知优化的精度和效率。
如何解决低位量化对扩散模型性能的影响？
通过优化活化分布和关键量化层，可以有效解决低位量化对扩散模型性能的影响。
QDiffBench基准的作用是什么？
QDiffBench基准用于更准确地评估量化模型在校准数据集之外的泛化性能。
