Shadow Walker 松烟阁
·
从KV Cache到Prompt Cache的应用
💡
原文中文，约21100字，阅读约需51分钟。
📝
内容提要
本文探讨了大模型推理中的KV Cache优化，分析了显存瓶颈及其对推理成本的影响。通过比较DeepSeek MLA和vLLM等技术架构，提出了Prompt Cache的应用，以降低推理成本并提升效率。
🎯
关键要点
- 本文探讨了大模型推理中的KV Cache优化，分析显存瓶颈及其对推理成本的影响。
- 通过比较DeepSeek MLA和vLLM等技术架构，提出Prompt Cache的应用以降低推理成本并提升效率。
- KV Cache成为大模型推理的瓶颈，显存容量和带宽限制影响推理性能。
- Transformer模型的推理过程分为预填充和解码两个阶段，KV Cache用于存储历史token的信息。
- KV Cache的显存占用量与序列长度、层数、头数和隐藏层维度成正比，长文本场景下显存需求极高。
- 内存墙和带宽瓶颈导致GPU计算单元闲置，推理成本上升。
- 注意力机制的演进从多头注意力（MHA）到多查询注意力（MQA）和分组查询注意力（GQA），以减小KV Cache体积。
- DeepSeek的多头潜在注意力（MLA）通过低秩矩阵压缩和解耦旋转位置编码实现KV Cache的极致压缩。
- vLLM引入PagedAttention解决显存碎片化问题，通过非连续存储和按需分配显存。
- SGLang的RadixAttention通过基数树结构实现KV Cache的自动复用，提升复杂对话的处理能力。
- StreamingLLM提出特殊缓存策略，保留注意力汇聚点以处理无限输入流。
- KV Cache量化技术通过降低数据精度进一步压缩显存占用，FP8和INT4量化技术逐渐应用于生产环境。
- 各大厂商推出Prompt Cache服务，DeepSeek以极低的价格和磁盘级缓存策略颠覆市场。
- 开发者可通过语义缓存进一步降低成本，语义缓存与Prompt Cache互补。
- Prompt Cache的普及标志着LLM服务向有状态操作系统演变，开发者需管理Context生命周期。
➡️
