本研究提出了一种渐进细到粗重建(PFCR)方法,以解决视觉变换器(ViTs)在后训练量化(PTQ)中低位量化性能下降的问题。该方法使3位量化的ViT-B模型Top-1准确率显著提升至75.61%。
本研究提出ASER算法,旨在解决大型语言模型的低位量化问题,通过误差重建和激活平滑来提升性能。实验结果表明,ASER在保持准确性的同时,能够有效地量化大型语言模型。
研究人员通过三值化和离群值友好特征知识蒸馏提出了可学习的双向三值化方法,该方法在大型语言模型上表现优异,超越了其他低位量化方法。在C4数据集上,该方法降低了困惑度,并在零样本任务的平均准确率上提高了8.2%。
完成下面两步后,将自动完成登录并继续当前操作。