本文介绍了一种内存高效的预训练语言模型适应方法,通过分解预训练矩阵并只更新低秩部分,实现了对模型的适应。该方法还提出了量化部分的整数线性规划形式,可以动态配置量化参数。实验结果表明,该方法优于其他基准方法,并能实现更激进的量化。
完成下面两步后,将自动完成登录并继续当前操作。