离群维度在语言模型中促进频繁词汇的出现

本文研究了语言模型中的离群维度，这些维度在大多数输入中表现出极端激活。研究表明，离群维度在多种现代语言模型中普遍存在，并提出了一种模型方法以抑制这一特征。