本研究探讨了大型语言模型中参数的重要性不均,发现少量超重要权重对模型质量有显著影响。提出了一种无数据的方法来识别这些权重,保护和激活超重要权重可以提升量化效果,为后续研究提供参考。
完成下面两步后,将自动完成登录并继续当前操作。