QTIP: 用格点化和不相关处理的量子化
内容提要
本研究提出了QuIP#和GPTVQ等新方法，显著改善了大型语言模型的量化效果。通过创新技术实现低精度量化，提升了模型的准确性和处理效率，尤其在LLaMA-2上提高了7.89%的准确率。此外，研究探讨了后训练量化的多种方法，提出了SmoothQuant+和APTQ等新技术，优化了模型性能和内存使用。
延伸解读
量化技术演进：从QuIP到QuIP#的改进
QuIP#在QuIP基础上引入随机哈达玛变换和球形亚高斯分布，改进了不相干处理，从而在极端压缩（≤4位）下实现最先进权重量化。与QuIP相比，QuIP#通过微调提升保真度，并支持快速推理。这体现了量化技术从基础方法向更高效、更精确方向的迭代。
向量量化与标量量化的权衡：GPTVQ的启示
GPTVQ通过增加量化维度改善大小与准确性权衡，利用Hessian信息交错更新权重，并在移动CPU上显示VQ解压缩比4位整数格式延迟更低。这表明向量量化在特定场景下可能优于传统标量量化，但处理70B模型需3-11小时，计算成本较高。
后训练量化方法对比：QLLM、SmoothQuant+与APTQ
QLLM通过自适应通道重组在LLaMA-2上提高7.89%准确率；SmoothQuant+实现4位权重量化，在A100 40GB上无损部署Code Llama-34B，吞吐量提升1.9-4.0倍；APTQ利用Hessian迹进行混合精度量化。这些方法各有侧重，分别针对准确性、内存效率和精度分配。
量化实践中的关键发现与限制
研究发现细粒度量化和PTQ方法是获得良好准确性的必要条件，且粗粒度的高比特（如5比特）可能比非常细粒度的低比特（如4比特）更强大。此外，QuIP#、GPTVQ等方法虽在特定模型上表现优异，但实际部署需考虑计算资源、推理延迟和硬件支持。
Q&A
QuIP#方法的主要创新点是什么？
QuIP#方法通过随机哈达玛变换和球形亚高斯分布改进量化效果，并利用微调提高模型保真度。
GPTVQ方法如何改善大型语言模型的量化效果？
GPTVQ方法通过交错使用量化和未量化权重更新，结合Hessian信息，建立了新的大小与准确性权衡状态。
QLLM在LLaMA-2上的表现如何？
QLLM在LLaMA-2上实现了相较于之前最先进的方法提高了7.89%的平均准确率。
SmoothQuant+方法的优势是什么？
SmoothQuant+方法能够无损减小大语言模型的内存开销，并在精确度上没有损失，提升了吞吐量。
APTQ方法是如何实现混合精度量化的？
APTQ方法利用Hessian迹作为灵敏度指标，在保持模型性能的前提下实现精度降低。
后训练量化（PTQ）对模型的影响是什么？
后训练量化（PTQ）通过细粒度量化和优化的舍入过程，显著减少权重和Hessian矩阵的量化误差。
