BriefGPT - AI 论文速递
·
JTCSE: Joint Tensor Modal Constraints and Cross-Attention for Unsupervised Contrastive Learning of Sentence Embeddings
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种新训练目标，通过对语义表示施加约束，增强正样本对齐。同时，针对BERT模型的注意力沉没现象，提出交叉注意力结构，以提升CLS标签的注意力和池化质量。该方法在多个语义文本相似度任务中表现优异。
🎯
关键要点
- 本研究提出了一种新训练目标，通过对语义表示施加约束，增强正样本对齐。
- 针对BERT模型的注意力沉没现象，提出交叉注意力结构，以提升CLS标签的注意力和池化质量。
- 该方法在多个语义文本相似度任务中表现优异，成为当前的最先进技术。
- 在超过130项任务中展示了卓越的零-shot 性能。
➡️
