BriefGPT - AI 论文速递 · 2025-03-24T00:00:00Z BitDecoding: Unlocking Tensor Cores for Long-Context LLM Decoding with Low-Bit KV Cache 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本研究提出了BitDecoding框架，解决了长上下文大语言模型在自回归解码中因KV缓存扩展带来的内存和计算挑战。该框架通过优化低位KV缓存的解码过程，显著减少去量化开销，实现了高达7.5倍的速度提升，展示了其在长上下文生成中的有效性。 🏷️ 标签 BitDecoding KV缓存 tensor 自回归解码 速度提升 长上下文 阅读原文 生成长图 分享链接 已复制链接
