本文介绍了一种名为条件遮蔽语言建模（CMLM）的新训练方法，能够在大规模未标记语料库上有效学习句子表示。CMLM在多语言任务中表现优异，尤其在跨语言语义搜索中提升了10%。该方法还探讨了去除语言偏见的可能性，同时保留句子语义，显示出在低资源设置下的优势。