BriefGPT - AI 论文速递 · 2024-12-12T00:00:00Z ZigZagkv: Dynamic KV Cache Compression for Long-context Modeling Based on Layer Uncertainty 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本文研究了大型语言模型中KV缓存的压缩问题，提出了一种基于层不确定性的动态分配预算的方法，显著降低了KV缓存内存使用率至约20%，同时保持推理性能，为长上下文建模提供了有效解决方案。 🏷️ 标签 KV缓存 动态分配 压缩 推理性能 长上下文 阅读原文 生成长图 分享链接 已复制链接
