本文介绍了一种层次对比学习框架HiCL,通过局部和全局对比学习提高训练效率和效果。在七种STS任务中,HiCL显著提升了模型性能,BERT-large和RoBERTa-large分别提高了0.2%和0.44%。该框架通过编码短分段并聚合,优化了训练过程,并在节点分类等任务中表现出竞争力。
完成下面两步后,将自动完成登录并继续当前操作。