SimPro: 一个简单的基于概率的真实长尾半监督学习框架
内容提要
本文汇总了多种半监督与弱监督学习方法：SimiS利用伪标签缓解类别不平衡；ProcSim通过类别本体构建鲁棒度量学习；SimPLE结合Pair Loss与MixMatch提升分类；SegPL用于医学图像分割；ProSMIN以评分规则最小化实现概率自监督学习；T-相似度衡量伪标签置信度；SU分类仅需相似对和未标记数据。
延伸解读
长尾半监督学习的核心挑战
文章指出，半监督学习在类别不平衡的长尾分布下效果受限。SimiS通过伪标签补充数据来缓解这一问题，在CIFAR100-LT等数据集上相对现有方法有显著提升。这提示读者，长尾场景下伪标签的利用需要专门设计，而非直接套用常规半监督方法。
伪标签置信度度量的改进
自训练方法常因模型对伪标签过度自信而受限。文章介绍的T-相似度基于线性分类器集合的预测多样性来度量置信度，并在多种数据模态上验证了其好处。这为读者提供了一种思路：通过集成多样性来校准伪标签，可能比单纯依赖模型输出概率更可靠。
概率自监督学习的表示学习
ProSMIN通过评分规则最小化进行概率自监督学习，利用在线和目标网络协作学习多样表示分布，并提供了收敛性理论证明。在ImageNet-O和ImageNet-C等下游任务上，它在精度和校准方面超越了自监督基线。这表明概率框架有助于提升表示质量和鲁棒性。
弱监督新设定与理论保证
文章提到SU分类仅需相似数据对和未标记数据点，即可获得分类风险的无偏估计量，并证明其估计误差达到最优参数收敛速率。这为弱监督学习提供了新的理论视角，读者可关注其在实际场景中降低标注成本的可能性。
Q&A
SimiS 算法是如何解决半监督学习中的类别不平衡问题的？
SimiS 通过用伪标签补充数据来缓解类别不平衡问题，在 CIFAR100-LT、FOOD101-LT 和 ImageNet127 数据集上分别相对现有方法提高了 12.8%、13.6% 和 16.7% 的表现。
ProcSim 框架的主要思想是什么？
ProcSim 通过建立类别本体并创建语义一致的标签错误，将样本与其类别代表的归一化距离计算得到置信度评分，从而训练鲁棒的深度度量学习模型。
SimPLE 算法结合了哪些技术来提升半监督分类性能？
SimPLE 结合了 Pair Loss 和 MixMatch 技术，通过挖掘标记和未标记数据之间的关系，显著提升了 CIFAR-100 和 Mini-ImageNet 上的性能，并在 CIFAR-10 和 SVHN 上达到最新方法的水平。
SegPL 方法在医学图像分割中有什么特点？
SegPL 是一种基于原始伪标记的半监督医学图像分割方法，作为期望最大化算法的清晰统计解释，在 2D 多类 MRI 脑肿瘤和 3D 二进制 CT 肺血管分割任务中证明了其效力和可靠性。
ProSMIN 概率自监督学习是如何工作的？
ProSMIN 通过 Scoring Rule Minimization 进行概率自监督学习，利用两个神经网络（在线网络和目标网络）协作学习彼此的多样表示分布，通过知识蒸馏训练在线网络预测目标网络同一样本的表示，并使用基于适当评分规则的新损失函数进行训练。
T-相似度是什么？它解决了什么问题？
T-相似度是一种新的置信度度量方法，基于线性分类器集合的预测多样性，用于解决自训练中置信度过高的问题，并在各种数据模态的分类数据集上验证了其好处。
SU 分类这种弱监督学习设置有什么特点？
SU 分类只需要相似数据对和未标记数据点，可以从 SU 数据中获得分类风险的无偏估计量，并证明其经验风险最小化器的估计误差达到最优参数收敛速率。
