稀疏对比学习的句子嵌入
原文中文，约300字，阅读约需1分钟。发表于：。使用参数稀疏化的方法，通过在标准语义文本相似性任务和迁移学习任务中进行更多实验，研究表明提出的 SparseCSE 在性能上优于 SimCSE，并通过深入分析展示 SparseCSE 生成的嵌入空间比 SimCSE 具有更好的对齐性，而一致性保持不变。
本文介绍了一种名为InfoCSE的对比学习框架，用于学习无监督的句子嵌入。该框架在语义文本相似性任务上表现出色，成为无监督句子表示学习方法中的最新成果。框架引入了一个额外的掩蔽语言模型任务和一个经过精心设计的网络来强制[CLS]位置的表示聚合更密集的句子信息。
