利用代码交替改进语义检索的跨语言表示
内容提要
本文综述代码切换在多语言与跨语言自然语言处理中的应用。利用双语词典生成混合语言数据训练排序模型，可提升跨语言与多语言检索效果；代码切换预训练能增强多语言序列到序列模型性能、缩小跨语言表示距离，并提升机器翻译、意图识别、语音识别及低资源语言任务表现，且计算成本增加有限。
延伸解读
代码切换为何能提升跨语言检索
文章指出，零样本排序模型从高资源语言迁移到其他语言时效果会下降。为此，作者利用双语词典生成人工混合语言数据来训练排序模型，词典来源包括跨语言词嵌入和平行维基百科页面标题。这种方法在跨语言和多语言检索中带来了稳定且显著的收益，说明代码切换能有效缓解语言差异带来的性能损失。
对多语言序列到序列模型的增益
文章提到，通过引入代码切换任务，可以减少跨语言场景下的数据和任务差异，从而提升多语言序列到序列预训练模型的性能。实验表明，该方法显著优于标准微调的mBART，能够缩小跨语言句子表示的欧几里得距离，并且计算成本增加有限。这为多语言生成任务提供了一种高效改进思路。
在意图识别与语音任务中的表现
文章综述了代码切换在多个任务中的应用。在意图识别上，通过多语言代码切换增强Transformer的语言中立性，在MultiATIS++数据集上平均精度提高4.2%，F1提高1.8%。在语音识别中，半监督训练和合成混合数据能改善双语ASR系统，在ASCEND数据集上混合错误率降至25%，较文献节省2.1%。这些结果说明代码切换具有跨任务的通用性。
低资源场景与数据增强价值
文章还涉及低资源语言任务。例如，基于多任务学习的语言模型共享语法表示，在SEAME数据集上困惑度分别提升9.7%和7.4%；数据增强框架无需双语句子即可对齐源语言与多个目标语言，在19种语言的五项任务上表现明显提高。这表明代码切换为缺乏标注数据的语言提供了实用且可扩展的解决方案。
Q&A
代码切换如何提升跨语言信息检索的效果？
利用双语词典生成人工混合语言的数据来训练排名模型，可以提升跨语言和多语言检索效果，带来一致且实质性的收益。
代码切换预训练对多语言序列到序列模型有什么好处？
代码切换预训练能增强多语言序列到序列模型的性能，缩小跨语言句子表示的欧几里得距离，且计算成本增加有限。
代码切换在意图识别任务中有什么效果？
通过多语言代码切换增强Transformer的语言中立性，在MultiATIS++数据集上平均精度提高4.2%，F1提高1.8%。
代码切换预训练如何改进神经机器翻译？
CSP方法利用源语言和目标语言之间的跨语言对齐信息，通过无监督词嵌入映射词典识别单词替换，克服随机屏蔽单词的缺点，在无监督和有监督机器翻译任务上均显著提高。
代码切换在语音识别中有什么应用？
基于多任务学习的语言模型共享语法表示，同时学习语言建模和语音标记来识别代码切换点，在SEAME数据集上困惑度分别提高9.7%和7.4%；半监督训练和合成混合开关数据可改善神经传递器双语ASR系统，混合错误率降低2.1%。
代码切换如何帮助低资源语言任务？
通过从源标准SRL注释构建高质量目标语言训练数据集，解决低资源语言缺乏注释数据的问题；数据增强框架生成多语言混合数据微调多语言BERT，无需双语句子，一个训练过程即可对多个目标语言微调，在19种语言的五项任务上表现明显提高。
