该文综述大语言模型量化技术进展，涵盖SqueezeLLM、QLLM、FP6-LLM、nuQmm、SmoothQuant、LLM-FP4等方案，通过后训练量化、通道重组、GPU核心优化等手段，实现3至8位低精度压缩，在降低内存与推理成本的同时保持性能，部分方法吞吐量提升达3.65倍。