分层自回归变换器：结合字节和词级处理以构建强大且可适应的语言模型

本研究针对现有子词标记器在词汇量大、适应性差以及对拼写错误敏感等方面的不足，提出了一种分层自回归语言建模架构，结合了字符级和词级处理。研究表明，该方法在参数规模高达70亿的情况下，能与基于子词标记器的模型在下游任务的表现上相媲美，同时显示出更强的对输入扰动的鲁棒性，具备更好的适应性和跨语言的通用性。