BriefGPT - AI 论文速递 · 2024-10-28T00:00:00Z ShadowKV: KV Cache for High-Throughput Long-Context LLM Inference 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本研究提出了ShadowKV系统，旨在解决长上下文大语言模型推理中的低吞吐量问题。该系统通过存储低秩键缓存和卸载值缓存，显著提高了内存利用率和吞吐量，支持高达6倍的批量尺寸，在A100 GPU上吞吐量提升达3.04倍，展现出良好的应用前景。 🏷️ 标签 ShadowKV 内存利用率 吞吐量 大语言模型 长上下文 阅读原文 生成长图 分享链接 已复制链接
