KV Cache 是自回归推理中缓存历史 token 的 Key 和 Value，避免重复计算前缀。它利用历史 K/V 不变性，将重复计算转为显存占用，成为长上下文推理的核心瓶颈。推理分 prefill 和 decode 两阶段，KV Cache 内存随层数、序列长度和 batch 线性增长。GQA、PagedAttention 和量化等技术用于优化 cache 管理，平衡性能与资源。