BriefGPT - AI 论文速递 · 2025-02-11T00:00:00Z

BalanceKV: KV Cache Compression via Differential Theory

📝

内容提要

本研究提出了BalanceKV方法，旨在解决大语言模型在长上下文生成中的高内存需求问题。通过几何采样提高了生成精度，实验结果表明其性能显著优于现有方法。

🏷️

标签

BalanceKV 内存需求 几何采样 大语言模型 长上下文