改进样本相似性图的对比学习中的 $\mathbb {X}$- 样本对比损失

💡 原文中文,约1700字,阅读约需4分钟。
📝

内容提要

本文介绍了多种对比学习方法,如GraphSC框架、MSCon多相似性对比损失和半监督对比学习。这些方法通过优化对比损失和引入新损失函数,提升了模型在无监督和半监督学习中的表现,尤其在图学习和科学文档表示方面取得了显著进展。

🎯

关键要点

  • 提出了一种名为 GraphSC 的新型图自我对比框架,通过图增强函数生成正负样本,并引入掩蔽自我对比机制以更好地区分正负样本。

  • 基于多个相似性度量的新型多相似性对比损失(MSCon)通过自动学习相似性的对比权重,降低不确定任务的影响,优于最先进的基准模型。

  • 研究了对比学习的等价性,建立了对比学习与谱聚类算法之间的等价性,并提出了一种新的核混合损失,在视觉数据集上表现更好。

  • 提出了一种半监督对比学习(SsCL)策略,将自监督学习中的对比损失与半监督学习中的交叉熵损失结合,产生更具区分性的表示。

  • 介绍了一种基于对比学习的自我监督表征学习方法,优化了全监督设置中的分类性能。

  • 提出了一种通过对比学习改善科学文档表示的方法,使用引文图嵌入进行相似度学习。

  • 提出了 GraphRank 模型,通过引入基于排名的学习来测量相似度得分,成功缓解虚假负样本问题,并降低时间复杂度。

  • 探讨了交叉感知培训中的对比训练,提出了连续加权对比损失(CWCL),在多个分类任务中取得显著改进。

  • 提出了一种名为 Graph Contrastive Learning(GraphCL)的框架,通过最大化节点表示之间的相似性来学习节点嵌入,显著优于无监督学习的现有技术。

延伸问答

GraphSC框架的主要特点是什么?

GraphSC框架通过图增强函数生成正负样本,并引入掩蔽自我对比机制,以更好地区分正负样本。

什么是多相似性对比损失(MSCon),它的优势是什么?

MSCon通过自动学习相似性的对比权重,降低不确定任务的影响,优于最先进的基准模型。

半监督对比学习(SsCL)是如何工作的?

SsCL结合自监督学习中的对比损失与半监督学习中的交叉熵损失,产生更具区分性的表示。

GraphRank模型解决了什么问题?

GraphRank通过引入基于排名的学习来测量相似度得分,成功缓解了虚假负样本问题,并降低了时间复杂度。

对比学习与谱聚类算法之间有什么关系?

本文建立了对比学习与谱聚类算法之间的等价性,探讨了它们的理论基础。

如何通过对比学习改善科学文档表示?

通过使用引文图嵌入进行相似度学习,优化科学文档的表示。

🏷️

标签

➡️

继续阅读