移动量化:适用于设备语言模型的移动友好量化
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了在边缘设备上部署大型语言模型(LLMs)时面临的内存、能量和计算成本的挑战。通过提出一种名为MobileQuant的简单后训练量化方法,本研究首次通过仅使用整数量化来优化激活范围及权重转换,显著降低延迟和能耗,提升了量化的精确度,对移动设备友好,具有重要的应用潜力。
该研究探讨了大型语言模型的后训练量化,特别是4位权重和8位激活(W4A8)量化,以提高计算效率。研究引入了激活量化感知的缩放(AQAS)和序列长度感知的校准(SLAC)等创新技术,并使用混合数据格式(dINT)解决了W4A8量化中的下溢问题。通过对LLMs的严格评估,证明这些技术显著提高了任务准确度,并且与完整精度模型相当。通过与dINT兼容的算术单元的开发,进一步提升了2倍硬件效率。