白化一致性改善自监督学习
原文中文，约300字，阅读约需1分钟。发表于：。本研究针对自监督学习中学习特征质量的不足，提出在编码器的最后一层加入ZCA白化，以实现特征的标准化和去相关。研究表明，该方法能够以独立于自监督学习方法和编码器架构的方式，普遍提升各种SSL模型的性能，线性和k-NN探测准确度提高1-5%。
自我监督学习方法通过解决预设任务，利用无标签数据进行模型训练，降低成本。研究发现线性/kNN探测协议是最好的预测器，批归一化对领域转移有重要性。挑战区分性和生成性自我监督方法之间的关系，发现性能差异可通过模型解释。
