构建更好的对比句子表示学习方法：梯度的统一范式

自监督学习在自然语言处理中的关键任务是句子表示学习，其中对比自监督学习是目前的主流方法。然而，其显著有效性背后的原因仍不清楚。本研究从梯度的角度出发，发现四种有效的对比损失可以集成到一个统一的范式中，这依赖于梯度消散、权重和比率这三个组成部分，并通过深入分析这些组件在优化中的作用，实验证明它们对模型性能的重要性，并通过调整这些组件使得非对比自监督学习在句子表示学习中取得出色的性能。