通过句法平滑减轻语言模型预训练中的频率偏差和各向异性

该研究通过引入句法先验，提出了一种新的句法平滑方法，解决语言模型预训练中频率偏差和各向异性导致的泛化能力不足问题。此方法改善了稀有英语Token的表现，并降低了各向异性。