QLLM:用于大型语言模型的准确高效低比特量化
原文中文,约200字,阅读约需1分钟。发表于: 。通过自适应通道重组技术,QLLM 提出了一种准确高效的低精度模型量化方法,实现了对大规模语言模型的低精度量化,并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。
本文介绍了一种名为norm tweaking的技术,可作为当前PTQ方法的插件使用,以实现高精度且成本效益的模型压缩。通过更新归一化层的权重,该方法在权重量化和权重与激活联合量化方面取得了显著的改进,在2位量化情况下甚至达到与浮点数模型相同的精度水平。该方法简单有效,适用于实际应用。