融合词汇和句法知识的无监督跨语言迁移
内容提要
本研究探讨了多语言BERT（mBERT）在跨语言迁移中的应用，提出通过语言语法和依赖树结构编码来提升自然语言处理任务的性能。研究表明，利用无监督机器翻译生成的合成平行语料库能够有效提取双语词汇表，并在多种语言间实现显著的性能提升。
延伸解读
语法结构编码提升跨语言迁移
文章指出，通过提供语言语法并训练mBERT编码通用依赖树结构，可以提升跨语言迁移性能。这表明在辅助目标中融入句法知识，有助于模型捕捉语言间的共性，从而在词性标注和依赖分析等任务上取得更好效果。
合成平行语料库提取双语词汇
研究提到，使用无监督机器翻译生成合成平行语料库，进而提取双语词汇表。该方法不依赖平行语料库或翻译模型，可与任何词向量和跨语言映射技术结合，在标准MUSE数据集上比最近邻和CSLS技术提高了6个准确度点。
跨语言迁移任务差异明显
文章发现，跨语言迁移在不同NLP任务上表现不一：语义文本相似度检验最强，情感分析次之，机器阅读理解最弱。这提示读者，迁移学习的效果受任务类型影响，在应用时需针对任务特点进行调整。
低资源语言迁移的改进
通过使用少量样本训练的神经网络与多语言Transformer基础模型协同，跨低资源语言与高资源语言之间的转移学习性能得到显著提高，并证明了meta-learning的能力。这为低资源语言处理提供了新思路。
Q&A
如何提高跨语言迁移的性能？
通过提供语言语法和训练 mBERT 编码通用依赖树结构，可以提高跨语言迁移的性能。
无监督机器翻译如何帮助提取双语词汇表？
使用无监督机器翻译生成的合成平行语料库能够有效提取双语词汇表。
mBERT在多种语言中的表现如何？
mBERT对24种语言的语法关系分布与语言形式差异高度一致，表明其能够正确编码语言多样性。
跨语言迁移在不同任务中的表现如何？
跨语言迁移在语义文本相似度检验中表现最强，情感分析次之，机器阅读理解表现最弱。
该研究如何证明meta-learning的能力？
实验结果显示，跨低资源语言与高资源语言之间的转移学习性能显著提高，证明了meta-learning的能力。
在低资源语言上如何实现任务感知的双语信息对齐？
提出了一种新方法，能够在低资源语言上实现任务感知的双语信息对齐，无需并行语料库或翻译模型。
