大型语言模型的极端压缩：基于加性量化
内容提要
该文综述大语言模型压缩技术，重点介绍量化方法：QLLM通过自适应通道重组实现低精度量化，在LLaMA-2上平均准确率提升7.89%；LLM-KICK评估协议用于比较压缩方法优劣；SqueezeLLM实现最高3位无损压缩；QuantEase用坐标下降实现近3位量化；此外还包括数据无关蒸馏、2.85位权重表示及SpQR异常权重高精度存储等方法，兼顾精度与内存收益。
延伸解读
量化方法多样，精度与压缩率需权衡
文章介绍了多种LLM量化方法，如QLLM、SqueezeLLM、QuantEase、SpQR等，它们在压缩位数和精度保持上各有侧重。例如SqueezeLLM实现最高3位无损压缩，QuantEase接近3位，而SpQR将大部分权重压至3-4位并高精度存储异常值。读者需注意，不同方法在压缩率与准确率之间的取舍不同，实际选择应结合任务需求和硬件约束。
评估协议LLM-KICK揭示方法优劣
LLM-KICK是一个压缩语言模型评估协议，用于系统比较不同压缩方法在语言理解、推理、生成、检索和摘要等任务上的表现。文章指出该协议揭示了当前最先进压缩方法的优点和缺点。这意味着读者在参考各方法宣称的压缩率或加速比时，应关注其评估是否全面，避免仅凭单一指标判断方法优劣。
数据无关蒸馏拓展低精度量化边界
文章提到一种数据无关的蒸馏方法，利用预训练模型生成的结果对权重、激活值和KV Cache进行低位量化，且比基于训练后量化和无训练量化方法更适用于低精度位级。这为缺乏原始训练数据或计算资源有限的场景提供了新思路，但读者需注意该方法仍处于研究阶段，实际部署效果需结合具体模型验证。
Q&A
QLLM 是如何实现大语言模型低精度量化的？
QLLM 通过自适应通道重组技术实现低精度量化，在 LLaMA-2 上相比之前最先进方法平均准确率提高了 7.89%。
LLM-KICK 是什么？它有什么作用？
LLM-KICK 是一个压缩语言模型评估协议，用于揭示当前最先进压缩方法的优缺点，并展示稀疏化和量化对语言理解、推理、生成、检索和摘要等任务的影响。
SqueezeLLM 能达到多少位的无损压缩？
SqueezeLLM 是一种后训练量化框架，能够实现高达 3 位的无损压缩，并在相同内存约束下实现更高的量化性能。
QuantEase 使用了什么技术来实现近 3 位量化？
QuantEase 采用 Coordinate Descent（坐标下降）技术，通过分层量化框架对大型语言模型进行后训练量化，包括离群值感知算法，以实现近乎 3 位量化并提高模型性能。
SpQR 如何处理异常权重以保持模型准确性？
SpQR 通过将所有其他权重压缩到 3-4 位，并将异常权重以高精度存储，从而在保持模型准确性的同时达到与先前方法相似的压缩水平，运行速度比 16 位基线快，并实现超过 4 倍的内存压缩收益。
有哪些方法可以实现每个权重 2.85 位的表示？
文章提到一种新技术以较小的计算代价解决量化和去量化操作问题，成功实现了每个权重的 2.85 位表示，模型的端到端加速比为 1.74 倍，同时降低了运行成本和硬件需求。
