本文综述波兰语及多语言语言模型研究，包括：提出波兰语BERT模型HerBERT，在多项任务中表现优异；构建波兰语文本生成基准与模型plT5；探索将英语大模型适配新语言，减少遗忘并提升标记效率；改进非洲语言模型，节省空间并增强跨语言迁移；发现少量数据即可媲美先进迁移模型；提出翻译模型ALMA；研究数据量与相似语言对迁移学习的影响。