本研究提出HEADINFER方法，解决大型语言模型在长上下文生成中的内存瓶颈问题。通过将键值缓存卸载到CPU RAM，显著降低GPU内存占用，最高可达92%，使得在单个消费级GPU上实现400万Token推理成为可能。

HeadInfer: Memory-Efficient Inference for Large Language Models through Key Offloading
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证