该文综述大语言模型量化技术，重点针对KV缓存激活，提出通道关键激活量化、RoPE本地化量化、非均匀KV缓存量化、向量稠密稀疏量化及Q-Norm等方法。在LLaMA、Mistral上实现3位量化，困惑度退化小于0.1，单张A100-80GB支持百万级上下文。同时涉及PagedAttention、FastGen、SqueezeLLM、QLLM、I-ViT等技术，以降低内存与延迟、提升吞吐量。