BGE M3 - 嵌入：通过自我知识蒸馏实现多语言、多功能、多粒度的文本嵌入
内容提要
本文综述多语言多模态嵌入研究，涵盖M3L-Contrast话题模型（将多语言文本与图像映射到共享话题空间）、通过翻译句子将嵌入扩展至400多种语言的方法、跨语言知识图谱对齐模型MTransE、经英文微调即可通用的统一嵌入模型、基于共享BPE的BiLSTM多语言表示学习（93种语言），以及覆盖百种语言、两千万实体的多语言实体链接。
延伸解读
多语言嵌入的扩展策略
文章提到，通过将翻译后的句子映射到与原始句子相同的向量空间，可以简便地将现有句子嵌入模型扩展到400多种语言。这种方法硬件要求低，且易于保证向量空间属性，为多语言嵌入的快速扩展提供了实用方案。
跨语言知识图谱对齐方法
MTransE采用基于翻译模型的方法实现跨语言知识图谱嵌入对齐，通过不同转化技术和损失函数生成五种模型。实验证明，该方法在跨语言实体匹配和三元组对齐方面效果良好，为知识图谱的跨语言整合提供了有效手段。
统一嵌入模型的潜力
文章指出，多种语言（自然语言和编程语言）的预训练变换器解码器在有限英文数据微调后能够实现普遍嵌入。这一发现表明，构建强大统一的嵌入模型是可行的，为不同任务和语言的应用提供了新思路。
大规模多语言实体链接的挑战
多语言实体链接模型覆盖100多种语言和2000万个实体，但面临罕见实体和低资源语言的挑战。文章主张增加对零样本和少样本评估的关注，并提供了Mewsli-9数据集，以帮助理解基于频率的分析如何为模型改进提供关键见解。
Q&A
M3L-Contrast 是什么？它有什么作用？
M3L-Contrast 是一种新颖的多模态多语言神经话题模型，用于可比较数据，将多种语言和图像映射到共享的话题空间中。它利用预训练的文本和图像嵌入，抽象不同语言和模态之间的复杂性，并产生对齐的语言特定话题。该模型还可以推断图像中语义概念的文本表示。
如何将句子嵌入模型扩展到新语言？
一种简便有效的方法是基于将翻译后的句子映射到与原始句子相同的向量空间位置的思想进行训练。这种方法具有扩展现有模型以增加新语言的简易性、保证向量空间所需属性的易操作性以及较低的硬件要求等优势，可以用于将句子嵌入模型扩展到 400 多种语言。
MTransE 是什么？它用于什么任务？
MTransE 是一种基于翻译模型的多语言知识图谱嵌入方法，用于实现跨语言的知识对齐。它采用不同的转化技术和损失函数来生成五种模型，实验证明在跨语言实体匹配和三元组对齐方面取得了很好的效果。
统一嵌入模型如何实现多语言通用嵌入？
统一嵌入模型通过预训练变换器解码器（涵盖自然语言和编程语言），在有限英文数据微调后能够实现普遍嵌入。全面评估表明这是一条有希望的道路，可以应用于不同任务和语言。
基于共享 BPE 的 BiLSTM 多语言表示学习有什么特点？
该架构以单个 BiLSTM 编码器为基础，使用共享的 BPE 词汇表来学习 93 种语言的嵌入表示，并在公开可用的平行语料库上进行训练。使用英文注释数据进行分类器训练，可将其转移至任何一种语言，且可以在跨语言自然语言推理、文档分类和平行语料库挖掘中取得良好效果。
多语言实体链接模型面临哪些挑战？
该模型涵盖 100 多种语言和 2000 万个实体，但面临罕见实体和低资源语言的挑战。因此，研究主张增加对零点和少量射击评估的关注，并提供了 Mewsli-9 数据集来帮助理解基于频率的分析如何为模型和训练增强提供关键见解。
