SentiCSE：一种基于情感的对比句嵌入框架，配备情感引导的文本相似度
内容提要
本文介绍了多种对比学习框架，如SimCSE、InfoCSE和DebCSE，显著提升了句子嵌入性能，适用于语义文本相似性任务。研究表明，无监督学习和新颖的样本选择方法能有效提高模型质量，推动句子表示学习的发展。
延伸解读
对比学习框架的演进脉络
从SimCSE到InfoCSE、DebCSE等，对比学习框架不断演进。SimCSE通过无监督和监督学习提升句子嵌入性能；InfoCSE引入掩蔽语言模型任务和精心设计的网络，在STS任务上平均Spearman相关性增加2.60%（BERT-base）和1.77%（BERT-large）；DebCSE通过逆倾向加权抽样选择高质量样本对，平均Spearman相关系数达80.33%。这些改进体现了样本选择和信息聚合的重要性。
样本选择与偏差消除的实践意义
DebCSE针对对比学习中的偏见问题，采用逆倾向加权抽样方法选择高质量正负样本对，以消除偏见影响，提高句子嵌入质量。这一思路对于构建鲁棒的句子表示模型具有参考价值，尤其在数据存在偏差时，合理的样本选择策略能显著提升模型在语义文本相似性基准上的表现。
多模态与跨语言扩展的探索
AspectCSE将对比学习扩展到基于方面的句子嵌入，在信息检索任务上实现平均3.97%的改进，并利用Wikidata知识图谱属性训练多方面模型。JCSE则针对日语进行领域自适应，通过生成矛盾句对提升低资源语言下游任务效果。这些工作表明对比学习框架可适应不同语言和任务需求。
合成数据与排序学习的融合趋势
SynCSE利用大型语言模型合成数据样本训练句子嵌入，在无监督基准上表现更优；RankCSE将排名一致性和排名蒸馏与对比学习结合，提升无监督句子表示性能。DiffCSE和ESimCSE则分别通过编辑差异和动量对比增强嵌入质量。这些方法展示了合成数据与排序学习在句子表示学习中的潜力。
Q&A
SimCSE是什么？
SimCSE是一种对比学习框架，通过无监督和监督学习显著提高句子嵌入性能，适用于语义文本相似性任务。
InfoCSE与SimCSE相比有什么优势？
InfoCSE引入了掩蔽语言模型任务和精心设计的网络，在语义文本相似性任务上超越了SimCSE，表现更好。
DebCSE是如何提高句子嵌入质量的？
DebCSE通过逆倾向加权抽样选择高质量样本，消除偏见，从而提高句子嵌入的质量。
AspectCSE的主要贡献是什么？
AspectCSE是一种基于对比学习的方面基础句子嵌入方法，在信息检索任务上实现了平均3.97%的改进。
SynCSE是如何训练句子嵌入的？
SynCSE利用大型语言模型合成数据样本，训练出性能更好的句子嵌入。
JCSE针对哪种语言进行了优化？
JCSE针对日语进行了领域自适应学习，生成用于对比学习的矛盾句对。
