ZipCache：准确高效的键值缓存量化与显著令牌识别
内容提要
本文探讨了大型语言模型中的键值缓存压缩技术，提出了混合精度KV缓存（MiKV）和质量自适应量化方案（QAQ），显著提高了缓存效率和生成质量。研究表明，通过多种量化方法，可以在不同模型上减少内存占用并提升推理性能，支持更长的上下文应用。
延伸解读
KV缓存压缩的技术路线差异
文章汇总了多种KV缓存压缩方法，其核心思路可分为两类：一是通过量化降低每个KV对的精度，如KIVI、SKVQ和QAQ；二是通过识别并保留重要KV对、清除次要KV对来减少缓存大小，如MiKV、SnapKV和SqueezeAttention。量化方法通常追求高压缩比，而选择方法更注重保留关键信息。实际应用中，可根据任务对生成质量的要求选择合适策略。
压缩比与生成质量的权衡
不同方法在压缩比和性能损失上表现各异。QAQ声称可实现最大10倍压缩且几乎不影响性能；KIVI在2位量化下支持4倍批处理大小，吞吐量提升2.35至3.47倍；SqueezeAttention则减少30%至70%内存并提升最高2.2倍吞吐量。这些数据表明，压缩技术能在显著降低内存的同时保持可用性，但具体效果取决于模型和任务。
长上下文应用的内存瓶颈与突破
随着大语言模型处理长文本的需求增加，KV缓存成为推理内存的主要占用者。文章提到，通过3位量化，可在单张A100-80GB GPU上为LLaMA-7B提供长达100万token的上下文，在8-GPU系统上可达1000万token。这为长文档分析、摘要等应用提供了可能，但需注意量化带来的困惑度退化（如小于0.1）是否在可接受范围内。
实际部署的考量因素
文章中的方法如FastGen无需微调或重新训练，通过轻量级注意力分析构建自适应KV缓存，适合快速集成。而MiKV、QAQ等方法可能需要特定实现。部署时需权衡压缩收益与实现复杂度，并关注GPU内存节省与吞吐量提升的实际效果。此外，不同模型（LLaMA、Mistral等）和数据集（Wikitext-2、C4）上的表现差异也需验证。
Q&A
什么是混合精度KV缓存（MiKV）？
混合精度KV缓存（MiKV）是一种缓存压缩方法，通过保留重要KV对的高精度和清除的KV对的低精度，来确保生成质量并降低内存占用。
质量自适应量化方案（QAQ）有什么优势？
QAQ能够在几乎不影响模型性能的情况下，实现KV缓存大小最大10倍的压缩比，显著减少部署大型语言模型的内存需求。
SKVQ策略是如何提高缓存压缩比的？
SKVQ策略通过滑动窗口的键值缓存量化，解决低比特宽度的缓存量化问题，从而实现高压缩比和高准确性。
SnapKV如何优化键值存储缓存？
SnapKV通过选择每个注意力头的重要键值位置，显著降低计算开销和内存占用，同时保持与基准模型相当的性能。
FastGen的自适应KV缓存压缩有什么特点？
FastGen通过分析注意力模块的结构，构建自适应KV缓存，显著减少GPU内存消耗，几乎没有生成质量损失。
SqueezeAttention如何实现内存减少和吞吐量提升？
SqueezeAttention通过优化动态分配关键值缓存的预算，实现30%至70%的内存减少和最高2.2倍的吞吐量提升。
