发现用于语言无关的多语言表示的低秩子空间
内容提要
本文综述跨语言表示研究，提出重对齐、去除语言特异性均值方差及形态重排等方法以降低迁移障碍；利用几何代数分离语言身份信息，显著提升弱对齐模型性能；分析多语言模型沿语言敏感与中性轴编码信息；采用无监督分布匹配优化词嵌入映射；定位语言特定信息的维度与层次；提出子空间嵌入压缩模型；并质疑少监督即可获得高质量跨语言嵌入的观点。
延伸解读
语言信息移除：简单线性运算带来显著提升
文章提到，通过几何代数从多语种表示中分离语言身份信息，仅使用简单线性运算，就在弱对齐模型上实现了近乎100%的性能提升，并在Amazon Reviews和XEVAL数据集上验证了跨语言转移效果的改善。这说明语言特异性信息可能以线性可分离的方式存在，去除它有助于模型聚焦语义而非语言身份。
多语言模型的编码轴与语言特定信息定位
以XLM-R为案例的研究表明，多语言模型沿语言敏感和语言中性轴编码信息，从而支持下游任务和跨语言传递。另一项研究进一步定位了语言特定信息，发现其散布在许多维度中，但可投影为线性子空间。这为理解多语言模型如何兼顾共享表示与语言特异性提供了结构化的视角。
子空间嵌入压缩：高压缩率与精度权衡
文章提出一种新的紧凑嵌入结构，通过对预训练语言模型中标记间的上下文关系进行子空间嵌入和分配，减少内存占用。实验显示，在XNLI和GLUE基准上达到超过99.8%的压缩率，同时牺牲高达4%的绝对准确率。这表明子空间方法能在几乎不损失性能的情况下大幅降低存储需求。
对少监督高质量跨语言嵌入的质疑
文章通过大量评估分析了多种跨语言嵌入模型在目标语言、训练语料库和监督程度等不同限制下的优劣，对“高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到”的观点提出了质疑。这提醒读者，跨语言嵌入的质量可能高度依赖监督程度和语料条件，实际应用中需谨慎评估。
Q&A
有哪些方法可以降低跨语言表示迁移的障碍？
文章提出三种方法：将目标语言的向量空间重新对齐到源语言、去除语言特异性的均值和方差、通过去除形态和句子重新排序来增加跨语言相似性。联合使用这些方法可降低跨语言转移障碍。
如何从多语言表示中移除语言身份信息以提高语言无关性？
文章提出“语言信息移除”方法，采用几何代数和语义空间的新角度，通过简单的线性运算从多语种表示中分离语言身份信息。该方法在弱对齐模型上实现了近乎100%的显著性能提高，并在Amazon Reviews和XEVAL数据集上验证了跨语言转移性能的提升。
多语言语言模型是如何编码语言敏感信息的？
以XLM-R为案例的研究表明，多语言语言模型沿着语言敏感和语言中性轴编码信息，从而在维持共享多语言表示空间的同时，在每种语言中编码语言敏感信息，使其能够提取下游任务和跨语言传递学习的各种特征。
无监督方法如何优化两种语言词嵌入空间之间的转换？
文章提出一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算Sinkhorn距离评估性能，在跨语言词汇相似度预测和双语词汇归纳等任务中表现强大。
多语言预训练模型中的语言特定信息分布在哪些维度和层次？
研究定位了MPLM中的语言特定信息，确定其维度和发生这些信息的层次，发现该信息散布在许多维度中，并可投影为线性子空间。
子空间嵌入如何压缩预训练语言模型的内存占用？
文章提出一种新的紧凑嵌入结构，通过对预训练语言模型中标记之间的上下文关系进行一组子空间嵌入和分配过程，来减少内存占用，牺牲高达4%的绝对准确率。实验表明，在XNLI和GLUE基准上，子空间嵌入相比原始嵌入达到了超过99.8%的压缩率。
高质量跨语言嵌入模型是否真的不需要太多监督？
文章通过大量评估分析了多种跨语言嵌入模型在目标语言、训练语料库和监督程度等方面的限制，对“高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到”的观点提出了质疑。
