BriefGPT - AI 论文速递
·
预训练语言模型对标记的表面信息的认知
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
研究发现，预训练语言模型具有学习词汇和子词令牌内部字符构成的能力，能正确拼写三分之一的词汇，并在所有令牌类型上具有高重叠度。额外的字符信息对子词模型的训练没有提高语言建模性能。研究表明，语言建模目标能激励模型隐式学习拼写知识，而显式教授拼写知识不能提高性能。
🎯
关键要点
-
预训练语言模型能够学习词汇和子词令牌的内部字符构成。
-
该模型能正确拼写三分之一的词汇，并在所有令牌类型上具有高重叠度。
-
额外的字符信息对提高子词模型的语言建模性能没有帮助。
-
语言建模目标激励模型隐式学习拼写知识。
-
显式教授拼写知识不能提高模型性能。
➡️
