可控扩散语言模型的量化嵌入向量
内容提要
该文综述扩散模型与语言模型的量化压缩研究，涵盖基于信噪比的全局与局部量化策略及EfficientDM、Diffusion-LM、QuantEase、DPQ、PQLM、量子扩散模型、token对比蒸馏、SDQ等方法，可在低位量化与高压缩率下保持模型性能。
延伸解读
量化策略的核心：信噪比视角
文章提出以信噪比（SQNR）作为评估指标，将相对量化噪声视为噪声，从而识别模型中的敏感部分。基于此，作者设计了全局与局部相结合的高效量化方法。实验表明，该策略能有效压缩潜在扩散模型（LDMs），同时保持性能。这为扩散模型的量化提供了一种可解释的噪声感知思路。
扩散模型量化的两条技术路径
文章综述了扩散模型量化的不同方法：EfficientDM 通过量化感知低秩适配器 QALoRA 实现 QAT 级别性能与 PTQ 效率；Diffusion-LM 则利用连续扩散实现可控语言生成。前者侧重低位量化优化，后者关注生成控制。两者分别从压缩与可控性角度推进了扩散模型的应用。
语言模型量化的多样方法
针对语言模型，文章涵盖了 QuantEase、DPQ、PQLM、SDQ 等多种量化技术。QuantEase 采用坐标下降实现近乎 3 位量化；DPQ 提供高压缩率嵌入替代；PQLM 探索量子语言模型；SDQ 通过自蒸馏减少量化误差。这些方法在压缩率与性能保持上各有侧重，展示了量化研究的丰富性。
量化压缩的潜力与挑战
文章提到基于 token 对比蒸馏的方法实现了 14.4 倍和 13.4 倍的压缩率，且性能与全精度模型可比。SDQ 将多语言模型从 32 位浮点减至 8 位整数，并在 XGLUE 上保持高性能。然而，量化多语言模型在未微调语言上的泛化仍是挑战，提示压缩需兼顾跨语言泛化能力。
Q&A
扩散语言模型的量化压缩主要有哪些方法？
文章综述了多种方法，包括基于信噪比（SQNR）的全局与局部量化策略、EfficientDM（使用QALoRA）、Diffusion-LM、QuantEase、DPQ、PQLM、量子扩散模型、基于token对比蒸馏的量化方法以及SDQ（自身蒸馏量化）等。
EfficientDM是如何实现低位扩散模型优化的？
EfficientDM是一种数据自由且参数高效的优化方法，通过引入量化感知的低秩适配器QALoRA，实现QAT级别的性能与PTQ的效率相似，从而优化低位扩散模型的性能，并在时间和数据效率方面显著超过之前基于PTQ的扩散模型。
Diffusion-LM在语言生成中有什么优势？
Diffusion-LM是一种基于连续扩散的非自回归语言模型，在语言生成过程中能够通过简单的基于梯度的算法实现复杂的可控生成任务，并成功应用在六个难度较大的细粒度控制任务中，表现出优秀的性能。
QuantEase如何对大型语言模型进行后训练量化？
QuantEase采用Coordinate Descent（CD）技术，通过分层量化框架对大型语言模型进行后训练量化，包括离群值感知算法，以实现近乎3位量化并提高模型性能。
DPQ压缩框架有什么特点和效果？
DPQ是一种可最小化储存空间的不同产品量化的压缩框架，可以作为任何现有嵌入层的替代品，降低了14-238倍的压缩率，并在三个不同语言任务的10个数据集上表现良好。
SDQ方法如何减少量化误差并保持模型性能？
SDQ（自身蒸馏量化）通过最小化积累的量化误差，优于基线方法。将SDQ应用于多语言模型XLM-R-Base和InfoXLM-Base，证明两个模型可以从32位浮点权重减少到8位整数权重，同时在XGLUE基准上保持高水平的性能。
