本文介绍了一种后训练量化方法，旨在提高大型语言模型的计算效率，特别是4位权重和8位激活的量化技术。通过激活量化感知缩放和序列长度感知校准等创新技术，显著提升了模型的准确度和硬件效率，解决了低精度微调中的异常值问题，增强了模型在实际应用中的可行性。

本文综述大语言模型量化研究，聚焦KV缓存激活，提出通道关键激活量化、RoPE本地化量化、非均匀KV缓存量化等方法，在LLaMA等模型上实现3位量化困惑度退化小于0.1，单张A100支持100万上下文；并介绍KIVI、QLLM、OmniQuant等后训练量化技术以降低内存与推理成本。