基于能量模型的经过校准的置信度伪标签学习
内容提要
本文介绍了多种基于伪标记和能量评分的方法，以提高深度学习模型在不平衡半监督学习中的分类精度。提出的InPL方法通过样本位置评分，显著提升了CIFAR10-LT数据集的准确度。同时，探讨了置信度校准和伪标记策略对图学习模型的影响，并提出了新的伪标记形式和框架，展示了其在医学图像分割和多标签分类中的有效性。
延伸解读
能量评分如何提升伪标签可靠性
传统伪标签依赖softmax置信度，但置信度无法准确反映样本与训练数据的距离，导致伪标签不可靠。InPL方法改用能量评分，根据样本在训练数据附近的相对位置进行评分，不依赖模型置信度。在CIFAR10-LT数据集上，InPL将绝对准确度提升了3%，并在一个最具挑战性的场景中跑赢了最佳竞争对手。这表明能量评分能为不平衡半监督学习提供更稳健的伪标签选择依据。
伪标签选择与校准的多样化方法
文章介绍了多种改进伪标签的策略：BPLS采用贝叶斯框架和解析近似选择标签实例，优于传统方法；CALL组合置信度惩罚损失、数据增强和集成方法，校准预训练语言模型；CPLL通过EM算法整合多注释者标签和先验、后验置信度，解决命名实体识别中的标签一致性问题。这些方法从不同角度提升了伪标签的准确性和模型校准性能。
伪标签在医学图像与图学习中的进展
SegPL将伪标记形式解释为期望最大化算法，并应用于半监督医学图像分割，在2D多类MRI脑肿瘤和3D二进制CT肺血管分割任务中表现出效力和可靠性。在图学习领域，研究通过错误分析发现伪标记错误受阈值置信度和多视图预测一致性的限制，据此提出谨慎的伪标签方法，仅对置信度最高且多视图一致的样本进行伪标记，在链接预测和节点分类任务上优于其他策略。
能量模型与对比学习的比较
文章探讨了在预训练文本编码器微调期间联合训练能量模型（EBM），通过噪声对比估计进行训练，并引入掩码语言模型目标提升NCE效果。同时，一项技术报告评估了自监督学习训练大规模视觉和语言模型的有效性，比较了基于能量和对比学习的表示学习方法对视觉问答任务预训练的影响，发现对比学习目前是相对更可行的选择，能够提高泛化能力。
Q&A
InPL方法是如何提高分类精度的？
InPL方法通过样本位置评分，避免依赖模型置信度，从而显著提高了CIFAR10-LT数据集的分类精度，提升了3%的绝对准确度。
什么是BPLS伪标签选择方法？
BPLS是一种具有Bayesian框架的伪标签选择方法，使用解析近似选择标签实例，优于传统的伪标签选择方法。
CALL方法如何改善预训练语言模型的置信度校准？
CALL方法结合了置信度惩罚损失、数据增强和集成方法，弥补了单独使用校准方法的缺陷，提高了分类和校准精度。
SegPL方法在医学图像分割中表现如何？
SegPL方法在2D多类MRI脑肿瘤和3D二进制CT肺血管分割任务中表现出色，证明了其效力和可靠性。
伪标记策略对图学习模型有什么影响？
伪标记策略影响图学习模型的收敛性，错误分析表明伪标记错误受置信度和多视图预测一致性的限制。
如何通过联合能量模型训练提高文本编码器的准确性？
通过在预训练文本编码器微调期间进行联合能量模型训练，并引入噪声对比估计和掩码语言模型目标，可以提高模型的准确性。
