BriefGPT - AI 论文速递
·
Mitigating Frequency Bias and Anisotropy in Language Model Pre-training through Syntactic Smoothing
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
该研究通过引入句法先验，提出了一种新的句法平滑方法，解决语言模型预训练中频率偏差和各向异性导致的泛化能力不足问题。此方法改善了稀有英语Token的表现，并降低了各向异性。
🎯
关键要点
- 该研究提出了一种新的句法平滑方法。
- 引入句法先验以解决语言模型预训练中的频率偏差和各向异性问题。
- 该方法改善了稀有英语Token的表现。
- 降低了各向异性的程度。
➡️
