评估量化的大型语言模型
内容提要
大型语言模型量化研究综述：4位量化在多数基准测试中性能接近原模型，困惑度可作为代理指标。已有PTQ、WKVQuant、QLLM、RPTQ、SmoothQuant等方法，实现W4A8、W8A8及KV缓存量化，兼顾精度与硬件效率，降低推理成本。
延伸解读
量化对推理速度的实际影响
文章指出，尽管4位量化在多数基准测试中性能接近原模型，但量化本身可能影响推断速度。优化解码速度和内存消耗需要大量工程努力和硬件支持。这意味着在实际部署中，不能仅关注精度指标，还需考虑硬件兼容性和工程投入，否则量化带来的收益可能被额外的开销抵消。
不同量化方法的精度与效率权衡
文章提到，细粒度量化结合PTQ方法对保持准确性至关重要，而粗粒度的5比特量化可能比极细粒度的4比特量化更有效。此外，WKVQuant能实现接近仅权重量化的性能，同时大幅节省内存。这些发现提示，选择量化方案时需在比特宽度、粒度与硬件效率之间进行权衡，并非比特越低越好。
KV缓存量化与硬件协同设计
WKVQuant对权重和KV缓存进行量化，通过二维量化策略处理KV缓存分布，几乎达到与权重-激活量化相当的内存节省。同时，dINT混合数据格式与兼容算术单元的开发，使W4A8量化比8位整数MAC单元提升2倍硬件效率。这表明算法与硬件的协同设计是释放量化潜力的关键。
Q&A
4位量化的大语言模型在基准测试中表现如何？
4位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能。
困惑度可以作为量化语言模型的评估指标吗？
是的，困惑度可以作为量化语言模型的代理度量。
有哪些针对大语言模型的后训练量化方法？
已有PTQ、WKVQuant、QLLM、RPTQ、SmoothQuant等方法。
SmoothQuant如何实现8位权重和激活量化？
SmoothQuant通过平滑激活异常值并在权重和激活之间进行数学上等效的变换以迁移量化难度，实现W8A8量化。
WKVQuant框架有什么特点？
WKVQuant对权重和KV缓存进行量化，通过过去量化改进注意力计算，引入二维量化策略处理KV缓存分布，结合跨块重构正则化进行参数优化，能几乎实现与权重-激活量化相当的内存节省，并接近仅权重量化的性能。
量化对推理速度有什么影响？
量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。
