本文介绍了条件遮蔽语言建模（CMLM）的训练方法，用于学习句子表示，并消除语言偏见。CMLM在大规模未标记的语料库上表现出色，可扩展到不同语言和领域，且在多语言任务上性能显著提升。