Fast & Efficient LLM Inference with vLLM-I
内容提要
文章介绍vLLM推理优化课程：先讲解KVCache原理，32K上下文约占16GB显存；再介绍LLM Compressor通过量化与稀疏化降低显存搬运，如W4A16将权重压至4bit。作者用Qwen3-0.6B实测，模型从1.41GB减至528.7MB，缩减64%，但困惑度上升21.6%，说明量化需权衡效果。
延伸解读
KVCache：长上下文的显存瓶颈
文章指出，KVCache 是推理中显存占用的关键因素。以 32 层、32 头、head_dim=128 的模型为例，单个 token 的 KVCache 约 512KB，32K 上下文时可达 16GB。这意味着长上下文请求会迅速消耗 GPU 显存，限制并发能力。理解这一点有助于在实际部署中合理设置上下文长度和批处理大小。
量化与稀疏化：降低显存搬运
LLM Compressor 通过量化和稀疏化优化推理。量化降低权重和激活的位宽，如 W4A16 将权重压至 4bit，减少显存占用和搬运量；稀疏化将部分权重置零，配合硬件跳过计算，提升速度。文章以 Llama 4 109B 参数为例，说明 FP16 需约 220GB 显存，而 INT4 仅需约 55GB，凸显量化对部署的直接影响。
量化实践：体积缩减与精度权衡
作者用 Qwen3-0.6B 实测，W4A16 量化后模型从 1.41GB 减至 528.7MB，缩减 64%，但困惑度上升 21.6%。文章解释，缩减比例未达 75% 是因为仅线性层被量化，Embedding 和 LM head 保持高精度，在小模型中占比高。这提醒读者，量化需在显存节省和效果损失间权衡，且参数调整影响显著。
Q&A
vLLM推理优化课程主要包含哪些内容？
课程将推理流程拆分为Optimization、Deploy和Measuring三部分。Optimization包括量化和稀疏化；Deploy包括Continuous Batching、PagedAttention和Prefix Caching；Measuring则衡量成本、准确性和性能的权衡。
KVCache为什么能节省计算？它的显存占用如何计算？
KVCache通过保留上一步的K和V对，避免重复计算。显存占用公式为：2 × L × T × H_KV × D × bytes。例如32层、32头、head_dim=128的模型，32K上下文约需16GB显存。
LLM Compressor中的量化和稀疏化分别有什么作用？
量化降低参数存储位数（如FP32到INT4），减少内存搬运，提升读写速度；稀疏化将部分参数置零，让硬件跳过零值计算，减少计算量。两者共同降低内存占用并提高计算性能。
使用llm-compressor进行量化时，oneshot API的关键参数有哪些？
关键参数包括：model（HuggingFace模型ID）、dataset（校准数据集）、recipe（量化配置，如GPTQModifier）、output_dir（输出目录）、num_calibration_samples（校准样本数）和max_seq_length（序列长度）。
W4A16量化后模型大小能减少多少？为什么不是75%？
实测Qwen3-0.6B从1.41GB减至528.7MB，缩减64%。不是75%是因为只有线性层权重被量化为4bit，而LM head、归一化层和Embedding层仍保持较高精度，尤其小模型中Embedding占比高。
量化后模型效果如何评估？困惑度变化多少？
可通过直接生成回答和计算困惑度评估。实测量化后困惑度从13.37升至16.25，增加21.6%，表明效果有所下降，但课程中优化后仅增加8.2%。
