白化一致性改善自监督学习
内容提要
本文探讨了自我监督学习（SSL）方法的研究进展，包括白化学习、无监督显著性图、掩膜自编码器及其在视觉模式识别中的影响。研究表明，特定领域的低数据量自监督预训练优于通用数据集预训练，并提出了消除虚假特征的方法以提升模型性能。自我监督学习通过利用无标签数据显著降低了模型训练成本。
延伸解读
白化与不对称学习如何避免训练崩溃
文章指出，基于白化的不对称自监督学习方法能避免因过多反例图像和样本崩溃导致的学习困境，使从同一图像实例中提取多个正样本对预测有利。这提示读者，在设计自监督任务时，正样本的构造方式与白化操作可能共同影响训练稳定性，而非仅依赖对比损失中的负样本数量。
领域内低数据量预训练可能优于通用大规模预训练
文章提到，针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练。这意味着，当目标领域与通用数据分布差异较大时，盲目扩大通用预训练规模未必带来更好迁移效果，反而可能因领域不匹配而受限。
虚假特征与数据增强的潜在风险
文章探索了虚假特征对自监督学习的影响，表明常用的数据增强方法可能导致图像空间中不想要的不变性。基于此提出的LateTVG方法通过修剪编码器后续层来消除虚假信息，并在多个基准测试中超过基线。这提醒读者，数据增强并非越多越好，需警惕其引入的虚假不变性。
评估协议与批归一化的关键作用
文章发现，基于领域内的线性/kNN探测协议是预测下游任务性能的最佳普适性预测器，并进一步研究了批归一化的重要性及对不同类型数据集领域转移的鲁棒性评估。同时，区分性和生成性自监督方法之间的性能差异大部分可通过模型改变来解释。这提示读者，在比较不同自监督方法时，评估协议和归一化设置可能显著影响结论。
Q&A
什么是自我监督学习（SSL）？
自我监督学习是一种机器学习方法，通过解决预设任务，利用数据本身提供监督，避免对外部标签的需求。
白化学习在自我监督学习中有什么作用？
白化学习可以避免学习陷入困境，使得从同一图像实例中提取多个正样本对预测有利。
CAST方法如何改善自我监督学习的特征学习？
CAST方法使用无监督显著性图提供关注力监督，显著改善了自监督学习在场景图像上的特征学习。
低数据量自我监督预训练的优势是什么？
在特定领域，低数据量自我监督预训练优于通用数据集的预训练，提供了有价值的见解。
IterNorm方法在自我监督学习中有什么优势？
IterNorm在避免特征坍塌方面表现优异，准确率超过有监督基线，特别是在较大的批量大小下。
如何消除自我监督学习中的虚假特征？
可以通过修剪编码器的后续层来消除虚假信息，从而提升基准测试表现。
