该文综述大语言模型量化技术进展，涵盖SqueezeLLM、QLLM、FP6-LLM、nuQmm、SmoothQuant、LLM-FP4等方案，通过后训练量化、通道重组、GPU核心优化等手段，实现3至8位低精度压缩，在降低内存与推理成本的同时保持性能，部分方法吞吐量提升达3.65倍。

本文综述大语言模型量化研究，聚焦KV缓存激活，提出通道关键激活量化、RoPE本地化量化、非均匀KV缓存量化等方法，在LLaMA等模型上实现3位量化困惑度退化小于0.1，单张A100支持100万上下文；并介绍KIVI、QLLM、OmniQuant等后训练量化技术以降低内存与推理成本。

该文综述大语言模型量化技术，重点针对KV缓存激活，提出通道关键激活量化、RoPE本地化量化、非均匀KV缓存量化、向量稠密稀疏量化及Q-Norm等方法。在LLaMA、Mistral上实现3位量化，困惑度退化小于0.1，单张A100-80GB支持百万级上下文。同时涉及PagedAttention、FastGen、SqueezeLLM、QLLM、I-ViT等技术，以降低内存与延迟、提升吞吐量。