KeepKV:消除KV缓存压缩中的输出扰动以提高大规模语言模型推理效率

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出了一种自适应KV缓存合并方法KeepKV,旨在解决大型语言模型推理中的KV缓存膨胀问题,以确保高效性能和注意力一致性。

🏷️

标签

➡️

继续阅读