研究人员通过三值化和离群值友好特征知识蒸馏提出了可学习的双向三值化方法,该方法在大型语言模型上表现优异,超越了其他低位量化方法。在C4数据集上,该方法降低了困惑度,并在零样本任务的平均准确率上提高了8.2%。
完成下面两步后,将自动完成登录并继续当前操作。