本文介绍了两种三语BERT模型的训练，分别适用于芬兰语、爱沙尼亚语和英语，以及克罗地亚语、斯洛文尼亚语和英语。这些模型在多个下游任务中表现优异，特别是在命名实体识别和依存句法分析方面。研究还探讨了如何在有限计算预算下有效转移英文预训练模型到其他语言，以及多语言数据对低资源语言模型性能的影响。