大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
💡
原文中文，约5100字，阅读约需13分钟。
📝
内容提要
研究表明，大模型中的「超权重」对性能至关重要，去掉一个「超权重」的影响比去掉7000个离群值更大。研究团队提出了一种新方法，通过检测层间降维投影中的峰值来识别「超权重」，并改进量化技术以保持模型性能。实验结果显示，「超权重」显著影响输出token的生成概率，尤其是语义词汇的预测。
🎯
关键要点
- 去掉一个「超权重」的影响比去掉7000个离群值更大。
- 大模型中存在少量特别重要的特征，称为「超权重」，对模型表现至关重要。
- 「超权重」会放大输入token的激活，导致「超激活」现象。
- 研究团队提出了一种新方法，通过检测层间降维投影中的峰值来识别「超权重」。
- 改进的量化技术可以在保持模型性能的同时处理更大的数据块。
- 「超权重」引发「超激活」，并抑制停用词的生成概率。
- 实验表明，恢复「超激活」后，模型的准确率显著提高。
- 「超权重」对输出token的概率分布有显著影响，尤其是语义词汇的预测。
- 量化过程中保留「超权重」和处理离群值对模型质量至关重要。
- 提出的超权重感知量化方法在多个模型上表现优于传统方法。
❓
延伸问答
什么是大模型中的「超权重」？
「超权重」是指在大模型中少量特别重要的特征，它们对模型的表现至关重要。
去掉一个「超权重」的影响有多大？
去掉一个「超权重」的影响比去掉7000个离群值更大，可能导致模型性能严重下降。
如何识别大模型中的「超权重」？
可以通过检测层间降维投影中的峰值来识别「超权重」。
「超权重」对模型输出的影响是什么？
「超权重」显著影响输出token的生成概率，尤其是语义词汇的预测。
研究团队提出了什么新方法来处理超权重？
研究团队提出了一种改进的量化技术，能够在保持模型性能的同时处理更大的数据块。
「超激活」是什么，它与超权重有什么关系？
「超激活」是指输入token激活的异常放大现象，与「超权重」密切相关，后者会进一步放大这种激活。
➡️
