本文研究了一种新的无训练压缩方法,称为激活感知奇异值分解(ASVD),旨在提高大型语言模型(LLMs)的压缩效率。ASVD通过调整权重矩阵管理激活异常值,能够在不损失推理能力的情况下压缩网络10%-20%。该方法与其他压缩技术兼容,展示了其灵活性。
完成下面两步后,将自动完成登录并继续当前操作。