文章介绍vLLM推理优化课程：先讲解KVCache原理，32K上下文约占16GB显存；再介绍LLM Compressor通过量化与稀疏化降低显存搬运，如W4A16将权重压至4bit。作者用Qwen3-0.6B实测，模型从1.41GB减至528.7MB，缩减64%，但困惑度上升21.6%，说明量化需权衡效果。