特征归一化防止非对比学习动力崩溃

该文介绍了一种名为DirectPred的自监督学习方法，该方法直接基于输入的统计信息设置线性预测器，表现与采用BatchNorm的两层非线性预测器相当，且在训练中优于线性预测器2.5％。同时，研究了非对比性SSL在简单线性网络中的非线性学习动态，为这些方法的学习和避免表征崩溃提供了理论洞察力。