本文介绍了一种名为InfoCSE的无监督句子嵌入学习框架,通过引入掩蔽语言模型任务和设计网络来聚合句子信息,表现超越了SimCSE,成为无监督句子表示学习方法中的最新成果。
SimCSE通过使用Dropout进行对比学习,核心在于损失函数的设计。它通过重复句子生成标签,计算句子间的相似度,并最终使用交叉熵损失函数进行优化。这种方法简单有效,显著提升了模型性能。
完成下面两步后,将自动完成登录并继续当前操作。