研究发现，预训练语言模型具有学习词汇和子词令牌内部字符构成的能力，能正确拼写三分之一的词汇，并在所有令牌类型上具有高重叠度。额外的字符信息对子词模型的训练没有提高语言建模性能。研究表明，语言建模目标能激励模型隐式学习拼写知识，而显式教授拼写知识不能提高性能。

Toucan是一种改进的字符级模型，通过学习将字符表示组合成标记的方式，提高了字符生成速度，同时保持了语言建模性能。与固定词汇解决方案相比，Toucan导致更多较长的序列以单个项目进行标记。

研究发现，预训练语言模型对于字符构成具有高学习能力，能正确拼写三分之一的词汇并具有高重叠度。额外的字符信息对子词模型的语言建模性能无影响。语言建模目标能激励模型学习拼写知识，而显式教授拼写知识无法提高性能。