对抗噪声标签的无偏样本选择
内容提要
该文综述噪声标签学习进展，提出类别惩罚标签、噪声率图模型、区间估计样本选择、CLIP过滤、截断M估计器、CurveNet元学习、贝叶斯零样本预测、Jo-SRC对抗学习、公平鲁棒样本选择及均值点集成等方法，以提升模型对噪声标签的鲁棒性。
延伸解读
方法演进：从样本选择到多策略融合
文章梳理了2021至2023年间噪声标签学习的研究进展，展示了方法从单一样本选择向多策略融合的演变。早期工作如类别惩罚标签和噪声率图模型侧重改进选择标准，而后期研究则引入区间估计、CLIP过滤、截断M估计器等手段，以应对不同噪声类型。这种演进反映了该领域从孤立技术向系统化解决方案发展的趋势。
技术路径：选择、正则与元学习的协同
所综述的方法可归纳为三类技术路径：基于样本选择（如类别惩罚标签、区间估计）、基于正则化（如截断M估计器、Jo-SRC的对抗学习）以及基于元学习（如CurveNet）。这些路径并非互斥，例如Jo-SRC结合了选择与正则化，而均值点集成则从模型和数据双维度减少误差积累。这种协同设计提升了模型对噪声的鲁棒性。
评估基准：合成与真实噪声数据集并重
文章多次提及在合成和真实噪声数据集上的验证，如CIFAR-10、CIFAR-100和Clothing1M。这些基准覆盖了不同噪声水平和类型，能够全面评估方法的鲁棒性。值得注意的是，部分方法（如均值点集成）还能与其他噪声标签学习方法无缝结合，进一步提升性能，这为实际应用提供了灵活性。
潜在挑战：误差积累与选择偏差
尽管方法不断进步，文章也指出了噪声标签学习中的固有挑战。例如，误差积累问题在训练过程中可能逐渐放大，而基于CLIP的过滤可能引入选择偏差。为此，研究者提出了针对性解决方案，如均值点集成从模型和数据角度减少误差积累，以及适应性边界损失来规范CLIP引入的偏差。这些努力表明，克服这些挑战仍是提升鲁棒性的关键。
Q&A
什么是对抗噪声标签的无偏样本选择？
对抗噪声标签的无偏样本选择是一种通过设计样本选择标准来减少噪声标签影响的方法，旨在使模型训练对噪声标签更稳健。例如，基于类别惩罚标签的方法通过平均预测置信度得到惩罚标签，强化对噪声标记的惩罚，从而在样本选择中提升鲁棒性。
有哪些具体方法可以对抗噪声标签？
文章提到了多种方法，包括：类别惩罚标签、噪声率图模型、区间估计样本选择、CLIP过滤、截断M估计器、CurveNet元学习、贝叶斯零样本预测、Jo-SRC对抗学习、公平鲁棒样本选择以及均值点集成等。这些方法从不同角度提升模型对噪声标签的鲁棒性。
CLIP如何用于过滤噪声标签？
利用视觉-语言替代模型CLIP自动过滤噪声样本，并设计了一种适应性边界损失来规范由CLIP引入的选择偏差，从而提供对标签噪声的鲁棒性。该方法在真实和合成噪声数据集上验证了有效性。
截断M估计器在噪声标签学习中有什么作用？
截断M估计器用于自适应地选择小损失的样本，减少噪声标签的影响，同时利用丢弃的大损失样本来帮助泛化。理论上证明了该方法具有容忍标签噪声的特性，实验表明在多种基准模型上表现出色，对各种噪声类型和水平具有鲁棒性。
Jo-SRC方法是如何工作的？
Jo-SRC是一种噪声鲁棒方法，结合了样本选择和模型正则化，采用对抗学习的方式训练网络并引入一致性正则化，以提高模型的泛化性能。
均值点集成方法如何减少误差积累？
均值点集成方法从模型和数据两个维度处理误差积累：模型角度，利用更鲁棒的损失函数和未被选择样本中的更多信息；数据角度，选择翻转图像的损失值代替原始图像的损失值来选择小损失样本。在CIFAR-10、CIFAR-100和Clothing1M上的实验表明，该方法优于不同噪声水平的最先进方法，并可与其他方法结合。
