本研究提出了一种后训练量化框架,通过细粒度分组和EM量化方案,将大语言模型的权重量化为1位,显著降低量化误差并提升性能。
本文提出了SQuat方法,解决了键值缓存量化中的误差累积问题。该方法通过构建查询张量生成的子空间,确保量化后的键与原始键之间的差异正交,从而减小量化误差对注意力机制的影响。实验结果表明,SQuat在内存占用和处理能力方面优于现有算法。
本研究提出了一种粗到细的标记预测方法,解决自回归图像生成中的量化误差问题。实验结果显示,Inception分数平均提升59分,且采样速度更快。
本研究提出了一种新方法,解决了深度神经网络中计算-存储(CIM)的量化误差和低位权重限制问题,提升了准确性并简化了训练过程。实验结果表明,该方法在准确性和硬件效率上优于相关研究。
本研究探讨了大语言模型后训练量化中的量化简化问题,重点分析各层的量化误差。引入两种微调策略,相较于单一微调,效果因模型而异,对某些模型有显著提升。
后训练量化在视觉Transformer中受到关注,但现有方法常忽视权重和激活间的复杂依赖,导致量化误差。论文提出ERQ方法,通过减少激活和权重量化误差来优化。实验表明,ERQ在ViT-S上性能优于GPTQ,提升22.36%。
本文研究了在上传之前对本地模型参数进行量化,以减少联邦学习的收敛时间。通过随机量化和综合优化计算、通讯资源和量化比特数,保证了最小收敛时间和能源、量化误差的要求。该方法加速了收敛速度,并为选择量化误差容忍度提供了见解。
完成下面两步后,将自动完成登录并继续当前操作。