研究表明，大型语言模型中的少量异常参数对模型质量至关重要。修剪这些参数可能显著降低文本生成能力。我们提出了一种无数据的方法来识别这些“超级权重”，并发现它们会导致罕见的大激活异常。保留这些激活可以提升量化效果，并提供常见LLM的超级权重坐标索引。
本研究探讨了大型语言模型中参数的重要性不均，发现少量超重要权重对模型质量有显著影响。提出了一种无数据的方法来识别这些权重，保护和激活超重要权重可以提升量化效果，为后续研究提供参考。
完成下面两步后，将自动完成登录并继续当前操作。
