KV 缓存压缩，我们必须拿什么作为交换？长上下文能力方法的全面基准测试
内容提要
本研究提出了一种新颖的语义压缩方法，旨在提高基于Transformer的大型语言模型（LLM）在长上下文处理中的效率。通过量化KV缓存激活和上下文压缩，LLM能够处理更长文本而无需显著计算开销。实验表明，该方法有效扩展了上下文窗口，并显著降低了长文档问答的成本，展示了LLM在长上下文理解方面的潜力与挑战。
延伸解读
长上下文效率的核心瓶颈
文章指出，KV缓存激活是长上下文推理中显存占用的主要来源。随着上下文增长，缓存大小线性增加，成为扩展上下文窗口的关键限制。因此，降低KV缓存开销是提升长上下文处理效率的重要方向，而量化与压缩是文章重点讨论的应对策略。
量化压缩的收益与代价
研究通过通道关键激活量化、Rotary位置嵌入本地化量化等多种方法，在3位量化下将困惑度退化控制在0.1以内，并实现单张A100-80GB GPU支持100万上下文长度。这表明激进量化可大幅降低显存需求，但需关注不同方法在长语境下的性能下降风险，如零样本压缩可能增加计算错误。
长上下文能力的现实差距
LIConBench评估显示，多数大语言模型在20K令牌内表现良好，但超过20K后除GPT-4外均明显下降。LongBench也发现商业模型在更长语境下仍存在困难。这说明当前模型的长上下文理解仍有显著局限，扩展窗口长度本身并不足以保证长依赖任务的表现。
压缩与检索的协同路径
LLoCO结合上下文压缩、检索和参数高效微调，将4k令牌的LLaMA2-7B有效窗口扩展至128k，推理时使用30倍更少令牌，实现最高7.62倍加速。这提示压缩与检索结合可降低长文档问答成本，但需权衡压缩带来的信息损失与检索的准确性。
Q&A
KV缓存压缩方法的主要目标是什么？
主要目标是提高大型语言模型在长上下文处理中的效率，减少计算开销。
该研究如何扩展大型语言模型的上下文窗口？
通过量化KV缓存激活和上下文压缩，使模型能够处理更长的文本。
实验结果显示了什么关于长文档问答的成本？
实验表明，该方法显著降低了长文档问答的成本。
商业模型在长上下文处理上存在哪些困难？
尽管在短依赖任务上表现优于开源模型，但在长上下文处理上仍存在困难。
LIConBench基准测试的目的是什么？
LIConBench旨在评估长上下文大语言模型的建模能力。
该研究提出了哪些量化方法来优化KV缓存？
提出了通道关键激活量化、Rotary位置嵌入本地化量化等多种量化方法。
