NusaBERT: 将 IndoBERT 教成多语言和多文化
内容提要
该文综述印尼语等低资源语言的NLP研究，介绍IndoLEM数据集与IndoBERT模型，在多项任务上达最先进性能；还涵盖IndoNLU基准、印尼语平行语料、混合代码鲁棒性框架IndoRobusta、推特模型IndoBERTweet及金融领域BERT，并提及孟加拉语BanglaBERT和荷兰语RobBERT。
延伸解读
印尼语NLP资源的发展脉络
文章梳理了印尼语NLP资源从2020年到2023年的发展：IndoLEM数据集和IndoBERT模型在多项任务上达到最先进性能；IndoNLU基准提供12个任务的评估框架；平行语料和词汇表推动低资源语言研究；IndoRobusta关注混合代码鲁棒性；IndoBERTweet针对推特领域；金融领域BERT则通过领域后训练提升效果。这些工作共同构建了印尼语NLP的基础设施。
低资源语言模型的跨语言启示
文章提及孟加拉语BanglaBERT和荷兰语RobBERT，它们与印尼语模型面临相似挑战：语料有限。BanglaBERT通过爬取110个网站构建27.5GB语料，在多项任务上取得最佳效果；RobBERT在较小数据集上表现优于其他模型。这表明针对特定语言进行预训练和领域适应，是提升低资源语言NLP性能的有效途径。
多语言与单语言模型的性能差距
文章引用研究指出，Multilingual BERT在低资源语言上的表示质量与单语言BERT相比差距较大，解决关键在于更有效的预训练技术或更多数据。这解释了为何IndoBERT等单语言模型能在印尼语任务上达到最先进性能，也提示多语言模型在低资源场景下仍需改进。
Q&A
IndoBERT 是什么？它在印尼语 NLP 任务上表现如何？
IndoBERT 是用于印度尼西亚语言的预训练语言模型，在 IndoLEM 数据集的大部分任务上实现了最先进的性能。
IndoNLU 基准包含哪些任务？
IndoNLU 是印度尼西亚自然语言理解任务的基准，包含从单句分类到句子序列标记的 12 个任务，并提供了基准模型和评估框架。
IndoRobusta 框架的作用是什么？
IndoRobusta 是一个用于评估和提高混合代码鲁棒性的框架，针对印尼语的混合代码现象进行探索。
IndoBERTweet 是什么？它有什么特点？
IndoBERTweet 是第一个大规模预训练的印度尼西亚语 Twitter 模型，通过扩展单语训练的印度尼西亚 BERT 模型并使用特定领域的词汇表训练。研究发现，用平均 BERT 子词嵌入初始化可以使预训练速度提高五倍，并且在七个基于 Twitter 的数据集上使用外部评估比提出的词汇自适应方法更有效。
在金融领域，印尼语 BERT 模型有哪些应用？
研究通过对预训练的印尼 BERT 进行金融领域的后训练，构建了印尼金融文本自监督语料库、印尼金融情感分析数据集和印尼金融主题分类数据集，并释放了一系列适用于金融自然语言处理的 BERT 模型。评估发现后训练可以提高语言模型在特定领域下游任务上的效果。
BanglaBERT 是什么？它在哪些任务上取得了最好效果？
BanglaBERT 是在孟加拉语上预训练的 BERT-based NLU 模型。作者通过爬取 110 个孟加拉网站收集了 27.5 GB 的 Bangla2B+ 语料库。在多项不同的 NLU 任务中，BanglaBERT 均取得了最好的效果，同时这些任务被纳入了首个 Bangla Language Understanding Benchmark (BLUB)。
