我们提出了一种名为DirectPred的自监督学习方法,通过输入统计信息设置线性预测器。在ImageNet上,该方法的表现与复杂的两层非线性预测器相当,并在训练中优于线性预测器2.5%。同时,我们提供了非对比性自监督学习的理论见解。
该文介绍了一种名为DirectPred的自监督学习方法,该方法直接基于输入的统计信息设置线性预测器,表现与采用BatchNorm的两层非线性预测器相当,且在训练中优于线性预测器2.5%。同时,研究了非对比性SSL在简单线性网络中的非线性学习动态,为这些方法的学习和避免表征崩溃提供了理论洞察力。
完成下面两步后,将自动完成登录并继续当前操作。