该文综述多语言预训练模型研究，涵盖FinEst BERT、CroSloEngual BERT等三语模型，在命名实体识别、词性标注和依存句法分析等任务上提升性能；并介绍跨语言学习、多语言微调、GreenPLM、XTREME基准、MultiFiT及跨语言后训练等方法，以提升跨语言泛化能力并降低资源消耗。