本文综述多语言小型预训练模型研究：构建并评估土耳其BERT系列，基于75GB文本训练，在掩码预测、情感分析等任务上表现良好；TurkishBERTweet轻量高效；土耳其语专用模型略优于多语言微调模型；领域词汇和分词粒度影响性能。荷兰语RobBERT、罗马尼亚语RoBERTweet、阿拉伯语QARiB、韩语KR-BERT及南斯拉夫语模型均在各自任务上取得改进。