从有偏选择标签到伪标签：一种期望最大化学习框架应对有偏决策
内容提要
本文探讨选择性标签下的算法辅助决策学习，提出数据增强方法以减轻选择性标签的偏误。研究介绍了伪标记在半监督医学图像分割中的应用，提出新方法以提高分类精度，并强调处理噪声标签的重要性。实验结果表明，所提算法在多种任务中表现优异，突显了在深度学习中应对标签偏见和不确定性的必要性。
延伸解读
选择性标签偏误的成因与影响
文章指出，选择性标签会导致检查现象，即模型对某些子组持续给出负面预测，从而忽略这些子组的真实标签。这种偏误使标准监督学习方法失效，因为训练数据无法代表整体分布。检查检测困难，且其危害常被低估，需要救济和随机探索等保障措施来收集未观察到的标签，以纠正模型偏差。
伪标签与期望最大化框架的演进
文章梳理了伪标签方法从SegPL到Bayesian Pseudo Labels的发展，这些方法基于期望最大化算法，为伪标签提供统计解释。它们在半监督医学图像分割中表现出效力和可靠性，并逐步推广到三维任务。这表明EM框架能有效利用未标注数据，缓解标签不足问题。
噪声标签处理的多样化技术路径
针对噪声标签，文章介绍了多种方法：DeCoLe通过修剪识别偏见标签，在仇恨言论检测中成功；CCEM利用众包标签与神经分类器共同学习；还有方法将噪声标签学习形式化为结构化流行体任务，使用双EM循环优化。这些技术在不同场景下提升了模型对标签噪声的鲁棒性。
不确定性建模与自训练改进
文章提出结合模型和数据集不确定性的自训练框架，通过EM平滑标签并估计不确定性，在图像分类和语义分割中取得1-3个百分点的改进。SCOPE方法则通过去除异常值伪标签，提高半监督分类精度，在CIFAR-10上达到最高精度。这些工作强调处理不确定性和噪声标签对深度学习的重要性。
Q&A
选择性标签对算法辅助决策学习有什么影响？
选择性标签会导致部分盲目性和系统性歧视的问题，影响模型的可靠性。
伪标记在医学图像分割中的应用是什么？
伪标记被用于半监督医学图像分割，特别是在MRI脑肿瘤和CT肺血管分割任务中表现出色。
如何解决标签偏见问题？
提出了Decoupled Confident Learning (DeCoLe)方法，成功识别偏见标签并改善模型性能。
本文提出了哪些新方法来提高分类精度？
提出了SCOPE方法和自训练框架，旨在提高半监督学习的分类精度。
如何处理带有噪声标签的数据？
通过优化算法和适当的目标函数，结合两个期望最大化循环来处理带有噪声标签的数据。
选择性标记导致的检查现象是什么？
选择性标记会导致对某些子组的持续负面预测，称为检查现象，增加了检测的困难。
