本文提出了一种多级对比学习框架，使用翻译后的平行数据并整合每对平行句子的单词级信息进行对比学习，提高预训练模型的跨语言能力。采用交叉零噪声对比估计损失减轻训练过程中误差的影响。该方法提高了基础模型的跨语言迁移能力，在多个跨语言任务中表现优异。