数据约束下通过词汇干预实现的多语言知识迁移
内容提要
本文提出LINK方法，通过双语词汇表对高资源语言（英语）预训练数据进行词汇替换，实现跨语言知识迁移。该方法无需额外模型训练或平行数据，仅需低成本双语词典。在八种语言、五种模型规模上评估显示，目标语言下游任务性能显著提升，训练速度最高提升2倍。
延伸解读
方法核心：数据级干预
LINK方法的核心是在预训练阶段对高资源语言（英语）数据中的随机词进行词汇替换，使用双语词典将词替换为目标语言的翻译。这种方法不需要额外的模型训练或平行语料，仅依赖低成本的双语词汇表，从而在数据稀缺的情况下实现跨语言知识迁移。
评估与效果
在八种语言和五种模型规模上的评估显示，LINK方法显著提升了目标语言的下游任务性能，并且训练速度最高可提升2倍。这意味着在资源有限的情况下，该方法能够以更低的成本获得更好的模型性能，对于低资源语言的自然语言处理任务具有实际应用价值。
局限与适用条件
LINK方法依赖于双语词汇表的可用性，虽然词汇表可以以近零成本获取，但词汇替换的比例和随机性可能影响迁移效果。此外，该方法主要针对预训练阶段，对于需要大量平行数据或复杂模型的方法，LINK提供了一种更轻量级的替代方案，但其效果可能受限于词汇表的覆盖度和语言对的相似性。
Q&A
LINK方法的核心思想是什么？
LINK方法通过在预训练数据的高资源语言（英语）部分进行词汇替换，将随机选择的单词替换为其双语词典中的翻译，从而在不增加额外训练或平行数据的情况下实现跨语言知识迁移。
LINK方法需要哪些资源？
LINK方法仅需要低成本的双语词典，无需平行数据、翻译系统或辅助模型，也不需要额外的训练阶段。
LINK方法在哪些语言和模型规模上进行了评估？
LINK方法在八种语言和五种模型规模上进行了评估。
LINK方法对目标语言下游任务性能有何影响？
LINK方法显著提升了目标语言的下游任务性能，并且训练速度最高可提升2倍。
LINK方法相比现有跨语言知识迁移方法有何优势？
现有方法通常需要大量平行数据、翻译系统、辅助模型或额外训练阶段，而LINK方法仅需双语词典，无需额外训练，成本低且适用于数据稀缺的语言。
LINK方法如何实现训练加速？
通过词汇替换，LINK方法使模型在预训练阶段更早地获得跨语言知识，从而在达到相同性能时训练速度最高提升2倍。
