本研究比较了单语言与多语言模型在低资源语言上的跨语言迁移能力。研究发现,经过微调的AfriBERT在肯尼亚语和基伦迪语上实现了88.3%的跨语言准确率,显示多语言模型在资源有限的环境中具备强大的跨语言迁移能力。
研究发现,大语言模型在训练过程中展现了多种独特现象,如语言对齐、语法关系预测和词形转换。这些模型具有良好的跨语言迁移能力,并且在任务微调后能够更好地处理语法成分的对齐关系。此外,大语言模型中的语言对齐现象也适用于其他语言,并且少量的数据就能影响整个模型的性能。研究还发现,大模型的语言核心区和特定维度对模型的性能具有重要影响。这些发现为构建大模型提供了有益的解释和指导。
完成下面两步后,将自动完成登录并继续当前操作。