本文介绍仅权重量化：模型权重存为低比特整数、激活保持FP16/BF16，以降低自回归解码时的权重读取开销。文中讲解非对称仿射量化的缩放因子与零点、逐通道与逐组量化，并演示用TorchAO做训练后量化、用GPTQ和AWQ借助校准数据减少误差、转换为GGUF格式供llama.cpp运行。最后强调需在目标硬件上评估质量、内存、延迟与吞吐，并确保格式、量化方案与推理内核兼容。