学习带有噪声标签的两个期望最大化的相互连接
内容提要
该文综述噪声标签学习（LNL）研究，涵盖邻域集合估计以清除噪声标签并保留干净样本、新型噪声BadLabel及对抗鲁棒方法、联合建模标签与标注者质量以优化众包标注、带噪声源分布知识的学习（性能提升5-15%）、联合优化估计真实标签、整合逻辑规则的Logic-LNCL、元学习标签纠正EMLC及噪声容忍训练算法、半监督框架筛选高准确度数据，以及应对细粒度噪声标签的SNSCL。
延伸解读
噪声标签学习的问题与应对思路
文章围绕噪声标签学习（LNL）展开，核心挑战是训练数据中存在的错误标签会损害模型性能。为此，研究者提出了多种应对策略：邻域集合估计方法旨在清除噪声标签并保留干净样本；联合优化框架同时学习网络参数和估计真实标签；半监督框架则筛选高准确度数据加以利用。这些方法从数据清洗、标签纠正和训练策略等不同角度切入，反映了该领域对噪声问题的系统性关注。
众包场景下的标签质量建模
针对众包标注中工作者质量参差不齐的问题，文章介绍了联合建模标签和工作者质量的算法，以优化有限的标注资源，并解决如何从噪声工作者中学习以及如何分配标注预算以最大化分类器性能。此外，Logic-LNCL框架将符号逻辑知识整合到深度神经网络中，通过迭代逻辑知识蒸馏从噪声标记数据和逻辑规则中学习，在真实数据集上表现优于现有技术。这表明利用额外结构信息（如标注者质量或逻辑规则）是提升噪声标签学习效果的重要途径。
利用噪声源知识与元学习提升鲁棒性
文章提到，当拥有噪声源分布知识时，将其整合到先进LNL方法中可在三个数据集和三种噪声类型上比未调整方法提升5-15%的性能，凸显了直接探究LNL与噪声源知识结合任务的重要性。元学习也被用于标签纠正和噪声容忍训练：EMLC方法在Clothing1M数据集上取得更好效果；另一种噪声容忍训练算法在传统梯度更新前进行元学习更新，模拟实际训练以避免模型过拟合特定噪声。这些方法通过利用噪声结构信息或模拟噪声环境来增强模型鲁棒性。
面向新型噪声与细粒度任务的专门方法
文章还介绍了针对特定挑战的专门方法。BadLabel是一种新型标签噪声类型，旨在增强现有LNL算法的鲁棒性，基于对抗性的鲁棒LNL方法被提出以解决该问题，实验证明能有效提高模型泛化性能。对于细粒度数据集上的噪声标签学习（LNL-FG），随机容限监督对比学习（SNSCL）框架通过促进可辨别表达形式来应对标签噪音，综合了加权机制、动量联想队列和高效随机采样模块，大量实验表明了其有效性。这些工作表明LNL研究正朝着更细化和更贴近实际噪声场景的方向发展。
Q&A
什么是BadLabel，以及如何应对这种噪声标签？
BadLabel是一种新型标签噪声类型，旨在增强现有LNL算法的鲁棒性。针对BadLabel，文章提出了一种基于对抗性的鲁棒LNL方法，实验证明该方法能有效提高模型的泛化性能。
如何从众包数据中联合学习标签和工作者质量？
文章提出一种新算法来联合建模标签和工作者质量，从带有噪声的众包数据中学习，可优化有限的标注资源，解决如何从噪声工作者中学习以及如何分配标注预算来最大化分类器性能等问题。
在噪声标签学习中，如何利用噪声源分布知识提升性能？
文章介绍了一种新的学习任务——带有噪声标签和噪声源分布知识的学习，并探索了几种方法将噪声源知识整合到最先进的LNL方法中。在三个数据集和三种噪声类型上，与未经调整的方法相比性能提高了5-15%。
Logic-LNCL是什么，它如何结合逻辑规则处理噪声标签？
Logic-LNCL是一种迭代逻辑知识蒸馏框架，将符号逻辑知识整合到深度神经网络中，以应对嘈杂的众包标签学习问题。该框架从噪声标记的数据和有关的逻辑规则学习，并在两个真实世界数据集上评估，显示优于现有技术的表现。
EMLC方法如何通过元学习纠正噪声标签？
EMLC是一种基于元学习的增强型元标签纠正方法，旨在解决有噪标签的学习问题。它提出一种噪声容忍的训练算法，在传统梯度更新之前进行元学习更新来模拟实际训练，通过生成合成噪声标签进行训练，使模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。在Clothing1M数据集上取得了比以前更好的效果。
SNSCL框架如何应对细粒度数据集上的噪声标签问题？
SNSCL是一种随机容限监督对比学习框架，旨在通过促进可辨别表达形式来解决细粒度数据集上的标签噪音问题。该方法综合了加权机制与避免插入噪声标签的动量联想队列，以及一种从生成的分布中对特征嵌入进行采样的高效随机模块。大量实验表明了SNSCL的有效性。
