BriefGPT - AI 论文速递 · 2024-12-03T00:00:00Z

Compressing KV Cache for Long Context LLM Inference through Inter-layer Attention Similarity

📝

内容提要

本研究提出了一种新方法，优化大型语言模型处理长文本的效率，减少不重要标记的内存和计算负担。研究发现，近标记更为重要，通过层间共享注意力得分，节省了35%的KV缓存。

🏷️

标签

KV缓存 大型语言模型 效率优化 注意力得分 长文本