高效的语言自适应预训练：为波兰语扩展最先进的大型语言模型
内容提要
本文综述波兰语及多语言语言模型研究，包括：提出波兰语BERT模型HerBERT，在多项任务中表现优异；构建波兰语文本生成基准与模型plT5；探索将英语大模型适配新语言，减少遗忘并提升标记效率；改进非洲语言模型，节省空间并增强跨语言迁移；发现少量数据即可媲美先进迁移模型；提出翻译模型ALMA；研究数据量与相似语言对迁移学习的影响。
延伸解读
波兰语模型的发展脉络
文章梳理了波兰语语言模型的演进：从2020年基于BERT的模型在13个任务上提升，到2021年通过消融研究推出HerBERT并在多个下游任务达到最佳，再到2022年发布文本生成基准和plT5模型。这些工作逐步覆盖了理解与生成任务，为波兰语NLP提供了基础工具。
跨语言适配的关键挑战与解法
针对将英语大模型适配到新语言，文章指出需避免灾难性遗忘和标记器效率低下。通过添加目标语言新标记和研究数据混合配方，在匈牙利语和泰语上取得了优于开源模型的性能，且对英语回归影响小。这为低资源语言适配提供了可参考的路径。
低资源语言的迁移学习策略
文章提到，在非洲语言适配中，多语言自适应微调能节省磁盘空间并增强零样本跨语言迁移；对LLaMA的研究发现，使用不到1%的预训练数据即可媲美先进迁移模型；此外，相似语言在数据有限时对迁移学习特别有效，且与更多数据结合能进一步提升性能。
Q&A
HerBERT是什么？它在波兰语NLP任务中表现如何？
HerBERT是一个基于BERT架构的波兰语语言模型，在13个波兰语语言任务中取得了显著提高，并在9个任务中表现最好，包括命名实体识别和情感分析等。
plT5是什么？它用于什么目的？
plT5是一个用于波兰语的通用文本生成模型，属于一个用于评估波兰语文本生成模型的新基准的一部分，该基准包含多种任务和数据集，可用于翻译、摘要和问答等自然语言处理任务的评估。
如何有效地将预训练大型语言模型适应到新语言？
通过添加目标语言的新标记和研究数据混合配方提高标记器的编码效率，可以避免灾难性遗忘和标记器效率低下的问题。实验证明，该配方在将英语预训练大型语言模型适应到匈牙利语和泰语方面，能达到比开源模型更好的性能，同时对英语的回归影响很小。
在非洲语言模型方面有哪些改进？
通过多语言自适应微调方法，改进了前馈神经网络模型（AfriBERTa和XLM-R），使其适配17种最常用的非洲语言及其他3种高资源语言，在NER、新闻主题分类和情感分类等任务中具有竞争性，且需要的磁盘空间明显少于单个语言的自适应微调方法，同时改善了参数效率微调方法的零样本跨语言转移能力。
ALMA是什么？它在机器翻译中有什么优势？
ALMA是一种面向翻译任务的先进语言模型的翻译器，通过新的微调方法设计，在WMT'21和WMT'22测试数据集上相比之前的工作和具有7B或13B参数的模型有显著性能提升，并为机器翻译领域的新训练范式奠定了基础。
数据量和相似语言对迁移学习有什么影响？
在迁移学习中，拥有更多的数据通常会导致更好的性能，然而，相关语言在特定语言对的数据有限时也可以特别有效。相关语言和更多数据的组合比单独使用两者能更好地提高模型性能，相关语言在零样本和小样本时也很重要。
