BriefGPT - AI 论文速递 · 2024-12-08T00:00:00Z

XKV: Personalized KV Cache Memory Reduction for Long-Context LLM Inference

📝

内容提要

本研究提出了一种个性化的KV缓存内存减少方法，旨在解决长上下文推理任务中的内存需求问题。通过量化不同层级缓存数据对推理准确性的影响，优化缓存分配，实验结果表明该方法能将内存消耗平均减少61.6%，同时提升计算效率和吞吐量。

🏷️

标签

KV缓存 内存减少 吞吐量 推理任务 计算效率