本研究提出CSE-SFP方法，旨在提高无监督句子表示学习的效率。该方法通过一次前向传播实现有效的对比学习，显著提升嵌入质量，降低训练时间和内存消耗，对文本表示领域具有重要影响。

本文介绍了条件遮蔽语言建模（CMLM）的训练方法，用于学习句子表示，并消除语言偏见。CMLM在大规模未标记的语料库上表现出色，可扩展到不同语言和领域，且在多语言任务上性能显著提升。

本文介绍了一种简单有效的单语言预训练任务，通过对比上下文预测来学习句子表示，实现了在多语言检索任务中的最佳结果。

本文提出了一种无监督的句子表示学习方法，通过转换输入句子得到定长向量表示，消除了对标注数据的依赖。使用两阶段的方法进一步提高性能。实验证明，CoT-BERT 方法超越了一系列强大的基准模型。