架起桥梁：从英文 PLM 到马来西亚英文的迁移学习
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本研究提出了一种扩展多语言BERT的方法用于命名实体识别（NER）实验，结果显示对已包含语言的F1值提高6%，对新语言提高23%。该方法结合知识蒸馏和一致性训练，展示了在低资源语言上通过少量标记样本实现合理性能的潜力，具有重要的多语言应用开发意义。
🔎
延伸解读
方法核心：知识蒸馏与一致性训练
E-BERT 结合知识蒸馏和一致性训练，利用预训练在源语言上的大型语言模型（如 XLMRoBERTa）作为教师，通过学生-教师关系将知识传递给低资源目标语言的学生模型。学生模型在目标语言上采用无监督的一致性训练，使用 KL 散度损失，从而在少量标记样本下实现跨语言命名实体识别。
实验效果：F1 值显著提升
在 27 种语言的命名实体识别实验中，E-BERT 对已包含在 M-BERT 中的语言平均 F1 值提高了 6%，对新语言提高了 23%。这表明该方法能有效扩展多语言 BERT 的覆盖范围，尤其对未包含在预训练语言中的新语言带来更大幅度的性能提升。
低资源场景下的实用价值
仅使用 30 个标记样本，模型就能将商家、金额等字段的识别从英语推广到阿拉伯语。这证明在低资源语言中，少量标记样本足以达到合理性能，为开发多语言应用程序（尤其是依赖英语和低资源语言的地区）提供了高效、低成本的解决方案。
❓
Q&A
E-BERT是什么？
E-BERT是一种扩展多语言BERT的方法，用于命名实体识别（NER）实验。
E-BERT在命名实体识别中的表现如何？
E-BERT在27种语言上实验，已包含语言的F1值提高了6%，新语言提高了23%。
E-BERT是如何提高低资源语言的性能的？
E-BERT结合知识蒸馏和一致性训练，通过少量标记样本实现合理性能。
使用E-BERT需要多少标记样本？
仅需使用30个标记样本即可将识别能力从英语推广到阿拉伯语。
E-BERT对多语言应用开发有什么意义？
E-BERT对开发多语言应用程序具有重要意义，尤其是在依赖英语和低资源语言的地区。
E-BERT的研究结果对低资源语言的影响是什么？
研究表明，少量标记样本足以在低资源语言中实现合理的性能。
🏷️
