DebCSE:从去偏见的角度重新思考无监督对比句嵌入学习
原文中文,约300字,阅读约需1分钟。发表于: 。本文研究了对比学习中存在的偏见问题,提出了一种名为 DebCSE 的新型对比框架,通过逆倾向加权抽样方法选择高质量的正负样本对,以消除各种偏见的影响,从而提高句子嵌入的质量。在语义文本相似性基准测试中,DebCSE 的平均 Spearman 相关系数为 80.33%,显著优于最新的最先进模型。
本文介绍了一种名为InfoCSE的无监督句子嵌入学习框架,通过掩蔽语言模型任务和特殊的网络设计来聚合句子信息。在语义文本相似性任务上,该框架表现超越了SimCSE,成为无监督句子表示学习方法中的最新成果。