SimO损失：无锚对比损失用于细粒度监督对比学习

BriefGPT - AI 论文速递 · 2024-10-07T00:00:00Z

本研究分析对比学习中的不稳定性，指出InfoNCE损失函数导致嵌入收敛到奇异点，影响分类效果。通过理论分析发现，嵌入在一维子空间时为局部最小值。提出正交锚回归损失，提升嵌入的独特性，确保聚类效果。在CIFAR10和CIFAR100数据集上，使用少量标记数据取得显著改善。