PeLLE: 基于开放数据的巴西葡萄牙语编码器语言模型
内容提要
该文综述葡萄牙语和西班牙语语言模型研究。葡语方面，单语预训练可提升多语模型性能，收益多来自领域知识；Albertina、GlórIA、ELLE及基于LLaMA 2的模型推进了葡语编码与生成。西语方面，跨语言模型常优于单语模型，BART和T5在摘要、改写、生成问答中表现最佳。
延伸解读
单语预训练为何有效
文章指出，在目标语言上进行单语预训练能显著提升已广泛训练于多语语料的模型，在14个葡萄牙语数据集上优于基于英语和多语言的模型。进一步分析表明，大部分收益来自领域特定知识，而非单纯的语言覆盖。这提示读者，对于资源相对丰富的语言，针对性的单语预训练可能比扩大多语数据更有效。
葡语模型生态的多样性
文章综述了多个葡萄牙语模型：Albertina提供基于DeBERTa的编码器，覆盖欧洲和巴西葡语；GlórIA是欧洲葡语的解码器LLM；ELLE专注于终身预训练；还有基于LLaMA 2微调的模型。这些模型在架构、目标和许可上各有侧重，读者可根据任务需求选择，例如编码任务可考虑Albertina，生成任务可关注GlórIA或LLaMA 2微调版。
西语模型对比的启示
针对西班牙语，文章比较了BART、T5和BERT2BERT等编码器-解码器模型，发现跨语言模型常优于单语模型，且BART和T5在摘要、改写和生成式问答中表现最佳。这与葡语中单语预训练更优的结论形成对比，说明语言资源和技术路线不同可能导致相反结论，读者应避免直接套用某一语言的结论到另一语言。
评估与可解释性的进展
文章提到，有研究针对巴西葡语提出固定语言格式的评估方法，考察模型对语法结构和多词表达的泛化能力，以缓解黑盒问题。同时，BERT在情感分析中多数情况下优于TF-IDF，但TF-IDF在性能和计算成本间更平衡。这些工作提醒读者，选择模型时需权衡任务性能、可解释性和计算开销。
Q&A
在目标语言上进行单语言预训练对多语模型有什么影响？
在目标语言上进行单语言预训练可以显著提高已经广泛训练于多个语料库的模型，并在14个葡萄牙语数据集上表现优于基于英语和多语言模型的模型。大多数收益来自于领域特定知识。
Albertina PT-* 是什么？它有什么特点？
Albertina PT-* 是一种基于 Transformer 的编码器，针对欧洲葡萄牙语和巴西葡萄牙语方言，在借鉴 DeBERTa 的基础上使用葡萄牙语数据集预训练，达到了最先进水平。它免费分发 PT-PT 和 PT-BR 版本，采用最宽松许可证，可在便携硬件上运行。
GlórIA 模型在葡萄牙语任务中表现如何？
GlórIA 是一个强大的欧洲葡萄牙语解码器 LLM，在多个下游任务中，它在语言模型和生成有丰富知识且连贯的葡萄牙语文本方面远优于现有的 PT 解码模型。
西班牙语语言模型比较研究的主要发现是什么？
研究发现，先前被忽略的大型跨语言模型比单语模型表现更好，单语模型的结果并不是确定性的，需要进一步研究语料库大小、质量和预训练技术等因素。
在西班牙语序列到序列任务中，哪些模型表现最好？
BART 和 T5 在所有评估任务（包括摘要、改写和生成式问答）中表现最好。
ELLE 模型是如何实现高效终身预训练的？
ELLE 通过 PLM 扩展和预训练域提示来实现高效的终身预训练，从而适应不断增长的流式数据。在 BERT 和 GPT 上的实验表明，它在预训练效率和下游性能方面优于各种终身学习基线。
