零炮灰锐度感知量化预训练语言模型

该文介绍了一种新颖的零射频锐化感知量化（ZSAQ）框架，用于各种预训练语言模型的零射频量化，并通过实验证明了该方法在鉴别性和生成性预训练语言模型上都带来了一致且显著的性能提升，最高可达 +6.98的平均得分，并且能够有效改善模型的泛化能力。同时，该文还理论证明了SAM-SGA优化算法的收敛速度以及该结果适用于其他非凸型极小-极大优化框架。