本文探讨了多语言句子表示的研究，介绍了多种探针任务和编码器训练方法。研究发现，不同语言的句子嵌入在保留语言信息方面表现不同，跨语言映射效果优于基于英文的编码器。此外，提出了利用合成数据集提升多语言句子表示质量的新方法，强调了语言特定差异和模型可解释性。

该研究提出了一种新的无监督方法，使用单语数据来获得跨语言句子嵌入，产生合成平行语料库，并使用预训练的跨语言掩码语言模型对其进行微调以得到多语言句子表示。结果表明，该方法可以比基准模型获得高达22个F1点的改进，并且单个合成的双语语料库能够改善其他语言对的结果。