研究分析了分词对多语种语言模型形态知识的影响,比较了mT5和ByT5在不同语言上的形态学理解。结果表明,中晚层编码的形态信息显著影响模型表现,尤其在处理不规则语言时,增加预训练数据能提升效果。
完成下面两步后,将自动完成登录并继续当前操作。