规范微调：大型语言模型的高性能低位量化
原文中文，约400字，阅读约需1分钟。发表于：。在本文中，我们介绍了一种称为 norm tweaking 的技术，可以作为当前 PTQ 方法的插件使用，以实现高精度并且具有成本效益的模型压缩。通过校准数据生成和通道级距离约束来更新归一化层的权重，我们的方法在权重量化和权重与激活联合量化方面取得了显著的改进，在 2 位量化情况下甚至达到与浮点数模型相同的精度水平。我们的简单有效的方法使其在实际应用中更加实用。
为了解决大型语言模型的内存需求和推断成本问题，提出了一种高效的仅权重量化方法。通过减少内存消耗和加速推断，采用启发式方法来确保最小质量降低。适用于混合专家模型和密集模型，无需额外微调。通过自适应的量化粒度解决挑战和问题，展示了方法的有效性。实现了高效的GPU矩阵乘法和解量化算法，支持不同激活和权重的乘法。在大规模开源模型上评估，展示了最小的准确性损失和高吞吐量。
