研究了一种名为ASVD的后期无训练压缩范式,用于压缩大型语言模型(LLMs)。ASVD通过调整权重矩阵来管理激活异常值,提高分解的准确性和效率。实验证明,ASVD能够在不损失推理能力的情况下压缩网络10%-20%。
完成下面两步后,将自动完成登录并继续当前操作。