MiniCache：大型语言模型的键值缓存深度维度压缩
内容提要
本文介绍了优化大型语言模型推理过程中键值缓存的方法，包括KCache、SnapKV和PyramidInfer。这些方法通过量化和自适应缓存技术，显著降低了内存占用和计算开销，同时保持模型性能。实验表明，这些技术在处理长输入序列时有效提升了吞吐量，并减少了GPU内存消耗。
延伸解读
KV缓存压缩的技术路线差异
文章介绍了多种KV缓存优化方法，它们从不同角度解决内存瓶颈。KCache通过缓存预先计算的KV状态提升吞吐量；SnapKV选择重要键值位置减小缓存；PyramidInfer压缩缓存并保留关键上下文；MiKV采用混合精度平衡压缩与质量；SKVQ利用滑动窗口量化。这些方法分别针对缓存重用、稀疏选择、压缩、精度混合和量化，为不同场景提供了多样化的选择。
量化与稀疏化的性能权衡
量化方法如3位KV激活量化在LLaMA和Mistral上实现了小于0.1的困惑度退化，但极低比特可能影响生成质量。MiKV指出，被清除的KV对保留低精度可恢复部分信息，而重要KV对需高精度以确保质量。SKVQ通过滑动窗口量化达到高压缩比和高准确性。这些表明，压缩策略需在内存节省和模型性能间取得平衡，重要信息的保留是关键。
长上下文推理的实际收益
对于需要长上下文的任务，KV缓存优化能显著提升可扩展性。例如，量化方法使LLaMA-7B在单张A100-80GB GPU上支持100万上下文，8-GPU系统支持1000万。PyramidInfer相比Accelerate吞吐量增加2.2倍，GPU内存减少54%。这些改进使大模型能处理更长的输入，同时降低硬件需求，对实际部署有积极意义。
Q&A
KCache技术如何提高大型语言模型的性能？
KCache技术通过缓存预先计算的KV状态，将大型语言模型的吞吐量提高40%，同时保持准确性。
SnapKV的工作原理是什么？
SnapKV通过选择每个注意力头的重要键值位置，减少键值存储缓存的大小，从而降低计算开销和内存占用。
PyramidInfer方法的优势是什么？
PyramidInfer通过压缩键值缓存，提高了GPU内存使用和推理速度的可扩展性，吞吐量增加2.2倍，内存占用减少54%。
混合精度KV缓存（MiKV）有什么特点？
MiKV结合低精度和高精度的KV对，提供了优越的压缩比和性能权衡，确保生成质量。
自适应KV缓存是如何减少内存占用的？
自适应KV缓存通过分析注意力模块的结构，针对不同上下文优化缓存，显著减少内存占用，几乎没有生成质量损失。
SKVQ策略如何解决内存使用问题？
SKVQ策略通过滑动窗口的键值缓存量化，减少内存使用量高达70%，且性能未明显下降。
