本研究提出了一种新颖的2层次SimCSE微调模型，结合无监督与监督方法，针对情感分析和语义文本相似性任务进行实验，模型在语义文本相似性任务中表现优异，平均得分达到0.742。

通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。与最先进的方法相比，本工作在语义文本相似性任务上取得了相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

该文介绍了一种名为自监督跨视图训练（SCT）的框架，用于缩小大型和小型预训练语言模型（PLM）之间的性能差距。SCT在7个语义文本相似性（STS）基准测试中，与5个基准和最先进的竞争对手相比，在21个案例中的18个中胜过竞争对手，对于参数少于100M的PLMs表现出色。