本文介绍大语言模型推理优化路线图。推理分为预填充（计算密集）和解码（显存带宽受限）两阶段。优化手段包括：KV缓存、PagedAttention与前缀缓存管理显存；连续批处理提升GPU利用率；MQA、GQA、FlashAttention优化注意力；量化、稀疏化、知识蒸馏压缩模型；投机解码降低延迟；张量并行、流水线并行及预填充-解码分离实现多GPU扩展。