本文探讨了多语句子编码器在不同预训练策略下对语言特性的表征，特别是语法一致性和形态句法特征的影响。研究发现，掩码语言模型和自回归模型在主谓一致性处理上存在差异，多语言模型在不同语言的编码表现出显著差异。这些发现为未来语言模型的训练和优化提供了重要参考。