EasyQuant: 一种高效无数据量化算法用于 LLMs
原文中文，约400字，阅读约需1分钟。发表于：。本研究提出了 EasyQuant，这是一种训练免费且独立于数据的权重量化算法，旨在实现对大型语言模型（LLMs）的几乎无损量化性能，且算法运行速度比依赖于数据的方法快 10 倍以上。
为了解决大型语言模型的内存需求和推断成本问题，提出了一种高效的仅权重量化方法。通过减少内存消耗和加速推断，使用预训练模型的模型权重来确保最小质量降低。适用于混合专家模型和密集模型，无需额外微调。通过自适应的量化粒度解决量化大型语言模型的挑战和问题。实现了高效的GPU矩阵乘法和解量化算法，支持不同激活和权重的乘法。在大规模开源模型上评估，展示了最小的准确性损失和高吞吐量。
