大型语言模型的对称剪枝

本研究针对现有剪枝方法缺乏理论基础的问题，提供了新的理论见解，从而重新定义了剪枝的标准最小化目标。我们提出的补充策略同时考虑输入激活和权重重要性，通过严谨实验验证了这些方法的有效性，尤其是提出了一种新的无训练微调方法$R^2$-DSnoT，显著超越了现有基准，确立了新的技术发展前沿。