研究表明，大模型中的「超权重」对性能至关重要，去掉一个「超权重」的影响比去掉7000个离群值更大。研究团队提出了一种新方法，通过检测层间降维投影中的峰值来识别「超权重」，并改进量化技术以保持模型性能。实验结果显示，「超权重」显著影响输出token的生成概率，尤其是语义词汇的预测。