大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
💡
原文中文，约5100字，阅读约需13分钟。
📝
内容提要
研究表明，大模型中的「超权重」对性能至关重要，去掉一个「超权重」的影响比去掉7000个离群值更大。研究团队提出了一种新方法，通过检测层间降维投影中的峰值来识别「超权重」，并改进量化技术以保持模型性能。实验结果显示，「超权重」显著影响输出token的生成概率，尤其是语义词汇的预测。
🎯
关键要点
- 去掉一个「超权重」的影响比去掉7000个离群值更大。
- 大模型中存在少量特别重要的特征，称为「超权重」，对模型表现至关重要。
- 「超权重」会放大输入token的激活，导致「超激活」现象。
- 研究团队提出了一种新方法，通过检测层间降维投影中的峰值来识别「超权重」。
- 改进的量化技术可以在保持模型性能的同时处理更大的数据块。
- 「超权重」引发「超激活」，并抑制停用词的生成概率。
- 实验表明，恢复「超激活」后，模型的准确率显著提高。
- 「超权重」对输出token的概率分布有显著影响，尤其是语义词汇的预测。
- 量化过程中保留「超权重」和处理离群值对模型质量至关重要。
- 提出的超权重感知量化方法在多个模型上表现优于传统方法。
➡️
