LRQ：通过学习低秩权重缩放矩阵优化大型语言模型的后训练量化
内容提要
本文介绍了多种针对大型语言模型的量化方法，如LR-QAT、QLLM和RPTQ，旨在提高计算效率和降低存储需求。这些方法通过低秩辅助权重和激活量化感知等技术，在保持预测性能的同时，实现了显著的内存节省和加速，推动了大型语言模型的实际应用。
延伸解读
量化技术路线差异
文章提及的量化方法可分为量化感知训练（QAT）和后训练量化（PTQ）两类。LR-QAT、L4Q属于QAT，通过低秩辅助权重或可学习量化步长在训练中适应量化；SmoothQuant、RPTQ、AffineQuant等属于PTQ，无需重新训练即可压缩模型。QAT通常精度更高但需要训练开销，PTQ则更易于部署，读者可根据实际资源与精度需求选择。
精度与效率的权衡
不同方法在精度和效率上各有侧重。例如，SmoothQuant实现W8A8量化，内存减少高达2倍，加速1.56倍；RPTQ将激活压缩到3位；W4A8方法结合dINT格式可提升2倍硬件效率。这些数据表明，量化能在保持预测性能的同时显著降低计算和存储需求，但具体收益取决于模型结构和硬件支持。
实际部署的考量
文章强调量化对大型语言模型实际应用的重要性，如降低GPU数量和硬件成本。但部署时需注意：PTQ方法可能对异常值敏感，QAT则需额外训练时间。此外，W4A8等方案需要特定算术单元支持，并非所有硬件都兼容。读者在选型时应评估自身硬件环境和精度容忍度。
Q&A
LR-QAT 算法的主要优势是什么？
LR-QAT 算法通过低秩辅助权重和固定点运算符节省内存，同时保持预测性能。
QLLM 方法在 LLaMA-2 上的表现如何？
QLLM 方法在 LLaMA-2 上提高了 7.89% 的平均准确率。
RPTQ 方法是如何减少计算开销的？
RPTQ 方法通过将激活范围缩小到 3 位，减少了存储和计算的开销。
SmoothQuant 的主要功能是什么？
SmoothQuant 是一种后训练量化解决方案，实现 LLMs 的 8 位权重和激活量化，减少内存和加速。
W4A8 量化技术的创新点有哪些？
W4A8 量化技术引入了激活量化感知的缩放和序列长度感知的校准，显著提高任务准确度。
AffineQuant 方法如何提升模型性能？
AffineQuant 方法通过显著减少量化误差，提升了大规模语言模型的性能。
