本文提出LINK方法,通过双语词汇表对高资源语言(英语)预训练数据进行词汇替换,实现跨语言知识迁移。该方法无需额外模型训练或平行数据,仅需低成本双语词典。在八种语言、五种模型规模上评估显示,目标语言下游任务性能显著提升,训练速度最高提升2倍。
本研究探讨了多语言BERT(mBERT)在跨语言迁移中的应用,提出通过语言语法和依赖树结构编码来提升自然语言处理任务的性能。研究表明,利用无监督机器翻译生成的合成平行语料库能够有效提取双语词汇表,并在多种语言间实现显著的性能提升。
完成下面两步后,将自动完成登录并继续当前操作。