金字塔推理：金字塔 KV 缓存压缩用于高吞吐率 LLM 推理
内容提要
本文介绍了一种新方法，通过优化大型语言模型中的键值缓存，显著降低内存使用并提高推理吞吐量。该方法可减少内存消耗高达70%，提升吞吐量2.2倍，适用于多种模型和任务。采用自适应KV缓存和SqueezeAttention等技术，保持生成质量的同时提高效率。
延伸解读
KV缓存优化：大模型推理的关键
大型语言模型推理时，键值缓存占用大量内存，成为吞吐量的瓶颈。本文汇总了多种KV缓存压缩技术，如KCache、FastGen、SqueezeAttention等，它们通过缓存部分层、自适应压缩、动态分配预算等方式，在几乎不损失生成质量的前提下，显著降低内存并提升吞吐量。这些方法大多无需微调，可即插即用，为实际部署提供了灵活选择。
技术路线对比：从量化到稀疏化
文章提及的KV缓存优化方法可分为几类：量化（如KIVI将KV缓存量化至2位）、稀疏化（如SnapKV选择重要键值位置）、自适应压缩（如FastGen根据注意力头类型区别处理）以及系统级优化（如ALISA权衡缓存与重计算）。不同方法各有侧重，量化能大幅减少内存但可能影响精度，稀疏化则更注重保留关键信息。读者可根据任务需求选择合适方案。
实际部署中的权衡与选择
这些技术在实际部署中需权衡内存节省、吞吐量提升与生成质量。例如，SqueezeAttention可实现30%至70%的内存减少和最高2.2倍的吞吐量提升，而KCache能提升40%吞吐量且保持准确性。但部分方法可能依赖特定硬件或需要兼容的CUDA内核。此外，某些技术如LESS结合常量缓存与驱逐策略，适合长序列任务。部署时应评估自身场景，选择最适合的优化组合。
Q&A
金字塔推理的主要创新是什么？
金字塔推理通过优化键值缓存，显著降低内存使用并提高推理吞吐量，最高可减少70%的内存消耗。
自适应KV缓存压缩是如何工作的？
自适应KV缓存压缩通过分析注意力模块的结构，动态调整缓存策略，以减少内存占用并保持生成质量。
SqueezeAttention技术的优势是什么？
SqueezeAttention通过优化关键值缓存的动态分配，实现30%至70%的内存减少和最高2.2倍的吞吐量提升。
KCache技术如何提高推理吞吐量？
KCache技术通过缓存预先计算的KV状态，将热门LLMs的吞吐量提高40%，同时保持准确性。
LESS方法的特点是什么？
LESS方法结合常量大小的缓存与驱逐策略，提升了多种任务中的效率，保持了时间信息的能力。
KIVI算法的优势是什么？
KIVI算法在几乎不减少质量的情况下，实现了2.6倍的峰值内存使用，提升了推理负载的吞吐量。
