本研究提出LagKV策略，解决了大语言模型在长上下文推理中KV缓存过大的问题。该策略通过比较KV关系，实现高效的缓存压缩，几乎不影响性能，并在特定任务上优于注意力权重方法。

LagKV：KV缓存的延迟相对信息揭示了哪些令牌是重要的
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证