Outlier Dimensions Facilitate the Emergence of Frequent Vocabulary in Language Models

本文研究语言模型中多出现的离群维度，这些维度在大多数输入中表现出极端激活。研究表明，离群维度是多种现代语言模型的普遍现象，并提出了一种可以在语境不当时抑制该特征的模型方法。通过调整权重，离群维度被发现是各种模型实施词汇预测策略的一种专用机制。

本文研究了语言模型中的离群维度，这些维度在大多数输入中表现出极端激活。研究表明，离群维度在多种现代语言模型中普遍存在，并提出了一种模型方法以抑制这一特征。

models 抑制 极端激活 模型方法 离群维度 语言模型
原文英文，约100词，阅读约需1分钟。发表于：。
阅读原文
分享给好友