本文探讨了多语言句子表示的研究，介绍了多种探针任务和编码器训练方法。研究发现，不同语言的句子嵌入在保留语言信息方面表现不同，跨语言映射效果优于基于英文的编码器。此外，提出了利用合成数据集提升多语言句子表示质量的新方法，强调了语言特定差异和模型可解释性。

本研究提出了一种名为RAMEN的替代模型，通过替换图卷积网络为非图卷积网络的架构，利用图数据来规范编码器训练，提高标签极度分类任务的性能。该模型在基准数据集上获得了高达15%的预测准确率提升，同时不增加推断计算成本。