揭示大型语言模型中“超级权重”的强大：识别与管理

该研究探讨了大型语言模型中的“超级权重”，即显著大于其他参数的权重，这些权重对模型的行为和性能具有重要影响。研究者分析了多个模型的权重分布，并提出了识别和管理超级权重的方法。