提高对比学习效果的有效组合正样本对
内容提要
该文综述对比学习在自监督表示学习中的进展，涵盖正样本对生成改进（ContrastiveCrop）、多头投影与自适应温度（AMCL）、减少特征丢失（SPPS）、在线聚类与多裁剪（SwAV，达75.3%准确率）、视频表示学习、多模态对比学习中的正负对作用与伪正对生成、弱监督缓解类冲突（WCL）以及协作对比学习提升动作识别。
延伸解读
正样本对生成：从随机裁剪到语义感知
文章指出，ContrastiveCrop 采用全无监督的语义目标定位策略，并设计中心抑制采样来扩大裁剪区域方差，从而提升 SimCLR、MoCo、BYOL、SimSiam 等方法的分类准确率。这表明正样本对的质量不仅取决于数据增强的强度，更取决于裁剪是否覆盖语义一致的区域。读者可关注其在下游检测和分割任务上的表现，以判断改进是否具有泛化性。
多头投影与自适应温度：平衡正负样本要求
AMCL 通过多个投影头生成不同特征集合，并利用自适应温度进行加权和正则化，以同时满足正样本对高相似度、负样本对低相似度的要求。这一设计提示，单一投影头和固定温度可能难以兼顾两种目标。读者在复现或选择对比学习方法时，可留意投影头数量与温度调节策略对表示质量的影响。
在线聚类与多裁剪：SwAV 的免成对对比路径
SwAV 不计算成对对比，而是通过预测机制建立视图间的一致性，并提出多裁剪数据增强策略，在 ImageNet 上达到 75.3% 的 top-1 准确率，且迁移任务表现超过监督预训练。这说明对比学习不一定依赖大量负样本对，聚类式目标同样可行。读者可关注多裁剪策略对计算开销和视图多样性的权衡。
多模态对比学习：正负对作用与伪正对生成
文章分析多模态对比学习训练动态时指出，正对驱使模型对齐表示但增加条件数，负对则减小条件数、保持表示平衡。同时，通过对称矩阵分解建立联系，表明多模态对比学习可借助文本隐式生成伪正对，从而获得更多语义一致且多样的正对。这为理解多模态预训练中正负样本的角色提供了理论视角，但实际效果仍需结合下游任务验证。
Q&A
ContrastiveCrop 是如何改进对比学习中的正样本对生成的？
ContrastiveCrop 采用全无监督方式，提出基于语义的目标定位策略，并设计中心抑制采样来扩大裁剪区域的方差，从而生成更好的对比对，提高了 SimCLR、MoCo、BYOL、SimSiam 等方法的分类准确率，并在下游检测和分割任务上取得优异结果。
AMCL 方法如何解决对比学习中的正负样本对要求？
AMCL 使用多个投影头生成不同特征集合，并通过自适应温度进行加权和正则化，以实现正样本对高相似度和负样本对低相似度的要求。
SwAV 在 ImageNet 上的准确率是多少？它有什么特点？
SwAV 在 ImageNet 上达到 75.3% 的 top-1 准确率，它通过在线聚类和预测机制建立视图间的一致性，无需计算成对对比，并提出了多裁剪数据增强策略，超越了所有考虑的迁移任务的监督预训练。
多模态对比学习中正对和负对分别起什么作用？
正对驱使模型在增加条件数的代价下对齐表示，而负对减小条件数，保持表示的平衡，两者对提高学习效率和平衡学习表示非常重要。
WCL 框架如何解决对比学习中的类冲突问题？
WCL 使用两个投影头：一个基于图形的方法找到相似样本并生成弱标签，另一个使用这些弱标签进行有监督对比学习，拉近相似图像距离，从而缓解类冲突，提升自监督表示品质，在半监督学习中达到新最优。
多模态对比学习如何生成伪正对并提升图像分类性能？
通过建立多模态对称矩阵分解与对称矩阵分解的联系，证明多模态对比学习隐含地通过文本对生成伪正对，从而具有更多语义一致和多样性的正对，显著提高自监督对比学习在图像分类中的性能。
