BriefGPT - AI 论文速递
·
SimO损失：无锚对比损失用于细粒度监督对比学习
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本研究分析对比学习中的不稳定性，指出InfoNCE损失函数导致嵌入收敛到奇异点，影响分类效果。通过理论分析发现，嵌入在一维子空间时为局部最小值。提出正交锚回归损失，提升嵌入的独特性，确保聚类效果。在CIFAR10和CIFAR100数据集上，使用少量标记数据取得显著改善。
🎯
关键要点
-
本研究分析对比学习中的不稳定性，特别是InfoNCE损失函数的影响。
-
InfoNCE损失函数导致嵌入收敛到奇异点，影响分类准确性。
-
理论分析表明，嵌入在一维子空间时为局部最小值。
-
提出正交锚回归损失以提升嵌入的独特性，确保聚类效果。
-
在CIFAR10和CIFAR100数据集上，使用少量标记数据取得显著改善。
➡️
