构建更好的对比句子表示学习方法：梯度的统一范式
内容提要
该文综述自监督学习进展，涵盖对比学习、句子表示和图神经网络等方向。研究提出语义感知对比句子表示、权重正交约束、谱流形统一框架及局部感知图对比学习等改进框架，实验证明这些方法能提升表征质量与下游任务性能，并缩小监督与无监督学习的差距。
延伸解读
从理论到实践：对比学习梯度调控的启示
文章指出，对比学习中的边缘对梯度有调控作用，这为改进表征学习提供了理论依据。实验证明，利用这一特性可以获取更好的表征并提升数据集性能。这提示研究者和实践者，在设计对比学习目标时，不应只关注最终损失值，还需理解梯度动态如何影响学习过程，从而更有效地调整模型。
大型语言模型助力句子表示：SemCSR框架的突破
SemCSR框架利用大型语言模型自动构建高质量的NLI风格语料库，并将生成的句子对纳入对比学习。这种方法减少了对人工标注数据的依赖，同时提升了句子表示的质量。对于缺乏标注资源的领域，这提供了一条可行的路径，但需注意生成语料的质量控制，以避免噪声影响模型性能。
谱流形统一框架：连接自监督学习与谱方法
该框架将VICReg、SimCLR和BarlowTwins等自监督学习方法与谱方法对应，得到了闭合形式的最佳表示和线性区间内的网络最佳参数。这揭示了训练中成对关系对下游任务性能的影响，并为不同谱嵌入方法之间建立了理论桥梁。这一统一视角有助于理解不同自监督方法的共性与差异，指导方法选择。
局部感知图对比学习：弥补全局与局部结构的平衡
LACL通过基于掩膜的建模补充局部图信息，解决了纯对比学习过于强调全局模式而忽略局部结构的问题。实验表明LACL优于当前最先进方法。对于图数据应用，这意味着在追求全局一致性的同时，需兼顾局部细节，以学习更全面的图表示。这一思路可推广到其他需要多尺度信息的领域。
Q&A
SemCSR 是什么？它如何提升句子表示学习？
SemCSR 是一种语义感知的对比句子表示框架，利用大型语言模型的生成和评估能力自动构建高质量的 NLI 风格语料库，并将生成的句子对纳入对比句子表示模型的学习，实验证明其能有效学习更好的句子表示。
权重正交约束在自监督学习中起什么作用？
权重正交约束被施加于自监督学习的目标函数中，用于研究 SSL 模型的学习动态。通过该约束，可以推导出在 Grassmann 流形上使用梯度下降训练的 SSL 模型的精确学习动态，并证明无限宽度逼近的 SSL 模型与监督模型的神经切向核逼近有明显偏差。
谱流形统一框架如何统一不同的自监督学习方法？
该框架将 VICReg、SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，还提供了两种谱嵌入方法之间的第一种理论桥梁。
监督学习和无监督学习在句子表示性能上存在差距的原因是什么？如何缩小？
本文通过实证实验回答了训练过程中导致性能差异的问题，并利用大型语言模型的上下文学习能力生成复杂模式的数据，有效地缩小了监督学习和无监督学习方法之间的差距。
局部感知图对比学习（LACL）解决了什么问题？
LACL 是一种自监督学习框架，通过基于掩膜的建模补充性地捕捉局部图信息，解决了纯对比学习在图数据上过于强调全局模式而忽略局部结构的问题。实验验证 LACL 优于当前最先进方法。
PairSCL 方法在句子对表示学习中的表现如何？
PairSCL 采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标区分不同类别的句子对。在两个公共 NLI 数据集上，其准确性平均优于其他方法 2.1%，并在文本分类的七个转移任务上超过了先前的最新方法。
