BriefGPT - AI 论文速递
·
基于评分规则最小化的概率自监督学习
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
本文介绍了一种新型的概率自监督学习方法ProSMIN，通过Scoring Rule Minimization来增强表示质量和减少崩溃表示。该方法利用两个神经网络协作学习彼此的多样表示分布，并通过知识蒸馏训练在线网络预测目标网络的表示。ProSMIN在大规模数据集上的下游任务中表现出卓越的能力，证明了其可伸缩性和实际适用性。
🎯
关键要点
- 提出了一种新型概率自监督学习方法ProSMIN。
- ProSMIN通过Scoring Rule Minimization增强表示质量和减少崩溃表示。
- 该方法利用两个神经网络（在线网络和目标网络）协作学习多样表示分布。
- 通过知识蒸馏训练在线网络预测目标网络的表示。
- 使用新损失函数基于适当评分规则进行训练。
- 为ProSMIN的收敛提供了理论证明，验证了优化过程。
- 在大规模数据集（如ImageNet-O和ImageNet-C）上评估了ProSMIN的性能。
- ProSMIN在精度和校准方面表现卓越，超越自监督基线。
- 广泛实验证明了ProSMIN的可伸缩性和实际适用性。
➡️
