本研究探讨了预训练语言模型（PLMs）输入分割对复杂单词语义表示的影响，发现DelBERT在语义探测任务中优于WordPiece分割的BERT，可能提高PLMs的泛化性能。此外，研究还涉及双语词典学习、跨语言调整及多语言模型的句法学习能力，结果显示多语言模型在某些任务上表现不如单语模型。