BriefGPT - AI 论文速递
·
基于能量模型的经过校准的置信度伪标签学习
内容提要
本文介绍了多种基于伪标记和能量评分的方法，以提高深度学习模型在不平衡半监督学习中的分类精度。提出的InPL方法通过样本位置评分，显著提升了CIFAR10-LT数据集的准确度。同时，探讨了置信度校准和伪标记策略对图学习模型的影响，并提出了新的伪标记形式和框架，展示了其在医学图像分割和多标签分类中的有效性。
关键要点
-
提出了一种基于能量评分的伪标记法（InPL），解决了深度卷积神经网络中伪标记不可靠的问题。
-
InPL方法通过样本位置评分，显著提高了CIFAR10-LT数据集的分类精度，提升了3%的绝对准确度。
-
介绍了一种具有Bayesian框架的伪标签选择方法（BPLS），优于传统的伪标签选择方法。
-
探讨了预训练语言模型的置信度校准，提出了结合置信度惩罚损失、数据增强和集成方法的Calibrated PLM（CALL）。
-
提出了一种新的伪标记形式和基于原始伪标记的半监督医学图像分割方法（SegPL），在医学图像分割任务中表现出色。
-
深入分析了伪标记策略对图学习模型的影响，提出了一种谨慎的伪标签方法，改进了图学习过程。
-
探讨了在预训练文本编码器微调期间进行联合能量模型训练，以提高模型准确性。
延伸问答
InPL方法是如何提高分类精度的？
InPL方法通过样本位置评分，避免依赖模型置信度，从而显著提高了CIFAR10-LT数据集的分类精度，提升了3%的绝对准确度。
什么是BPLS伪标签选择方法？
BPLS是一种具有Bayesian框架的伪标签选择方法，使用解析近似选择标签实例，优于传统的伪标签选择方法。
CALL方法如何改善预训练语言模型的置信度校准？
CALL方法结合了置信度惩罚损失、数据增强和集成方法，弥补了单独使用校准方法的缺陷，提高了分类和校准精度。
SegPL方法在医学图像分割中表现如何？
SegPL方法在2D多类MRI脑肿瘤和3D二进制CT肺血管分割任务中表现出色，证明了其效力和可靠性。
伪标记策略对图学习模型有什么影响？
伪标记策略影响图学习模型的收敛性，错误分析表明伪标记错误受置信度和多视图预测一致性的限制。
如何通过联合能量模型训练提高文本编码器的准确性？
通过在预训练文本编码器微调期间进行联合能量模型训练，并引入噪声对比估计和掩码语言模型目标，可以提高模型的准确性。
