研究发现，预训练语言模型对于字符构成具有高学习能力，能正确拼写三分之一的词汇并具有高重叠度。额外的字符信息对子词模型的语言建模性能无影响。语言建模目标能激励模型学习拼写知识，而显式教授拼写知识无法提高性能。
完成下面两步后，将自动完成登录并继续当前操作。
