本研究提出了ShadowKV系统，旨在解决长上下文大语言模型推理中的低吞吐量问题。该系统通过存储低秩键缓存并卸载值缓存，显著提升了吞吐量，支持高达6倍的批量尺寸，在A100 GPU上吞吐量提升达到3.04倍。

ShadowKV：高吞吐量长上下文LLM推理中的KV缓存
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证