BriefGPT - AI 论文速递 · 2025-03-25T00:00:00Z

LogQuant: Log-Distributed 2-Bit Quantization of KV Cache with Superior Accuracy Preservation

📝

内容提要

本研究提出了LogQuant，一种基于对数过滤机制的2位量化方法，显著提升KV缓存的内存效率和性能。在大语言模型推理中，该方法提高了吞吐量和准确性，尤其在数学和代码补全任务上，准确性改善达40%至200%。

🏷️

标签

LogQuant 内存效率 大语言模型 性能提升 量化方法