基于评分规则最小化的概率自监督学习

本文介绍了一种新型的概率自监督学习方法ProSMIN，通过Scoring Rule Minimization来增强表示质量和减少崩溃表示。该方法利用两个神经网络协作学习彼此的多样表示分布，并通过知识蒸馏训练在线网络预测目标网络的表示。ProSMIN在大规模数据集上的下游任务中表现出卓越的能力，证明了其可伸缩性和实际适用性。