BriefGPT - AI 论文速递
·
HILL：层次感知的信息无损对比学习用于层次文本分类
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文介绍了HiCL层次对比学习框架，通过局部分段级和全局序列级关系提高训练效率和效果。HiCL在七种STS任务上提升了SNCSE模型的性能，BERT-large提升0.2%，RoBERTa-large提升0.44%。
🎯
关键要点
- 提出了一种层次对比学习框架 HiCL。
- HiCL 考虑了局部分段级和全局序列级关系以提高训练效率和效果。
- 通过局部和全局对比学习建模分段级和序列级关系。
- HiCL 通过编码短分段并聚合来提高训练效率。
- HiCL 在七种 STS 任务上提升了 SNCSE 模型的性能。
- BERT-large 平均提升了 +0.2%。
- RoBERTa-large 提升了 +0.44%。
➡️
