PLReMix：用伪标签松弛对抗噪音标签的对比度表示学习
内容提要
该文综述噪声标签学习（LNRL）研究，从机器学习视角给出正式定义，分析噪声标签对深度学习模型性能的影响，并将LNRL方法分为三个方向，讨论各自优缺点，同时介绍JNPL、SelNLPL、SNSCL、NPN、伪标签细化、CLIP协同训练、DCLR、PCL等方法以提升鲁棒性与分类准确性。
延伸解读
噪声标签学习的三类方法概览
文章将噪声标签学习（LNRL）方法划分为三个方向，并讨论了各自的优缺点。这为读者提供了方法选择的宏观视角：不同方向在鲁棒性、计算成本或适用场景上可能各有侧重。了解这些分类有助于在实际问题中根据数据噪声类型和任务需求，初步判断哪类方法更值得尝试，避免盲目套用单一策略。
从JNPL到NPN：正负学习与标签分解的演进
文章介绍了JNPL、SelNLPL和NPN等方法。JNPL通过联合负学习和正学习两个损失函数训练CNN；SelNLPL在此基础上选择性地对低噪声数据使用正学习；NPN则集成部分标签学习和负向学习，自适应分解标签空间。这些方法展示了从简单联合到选择性、自适应策略的演进，核心思路都是更精细地利用标签信息来抑制噪声影响。
对比学习与预训练模型在噪声标签下的应用
文章提及SNSCL、CLIP协同训练、DCLR和PCL等方法。SNSCL用随机容限监督对比学习处理细粒度噪声标签；CLIP协同训练利用预训练模型和prompt微调来缓解样本选择错误累积；DCLR和PCL则分别针对文本和通用图数据改进对比学习。这些工作表明，对比学习和预训练模型正成为提升噪声标签鲁棒性的重要工具，但具体效果依赖任务和数据特性。
伪标签细化与自标记策略的改进方向
文章介绍了基于组件的伪标签细化框架和自标记策略。前者利用全局与部分特征的互补关系设计交叉一致性得分，减少标签噪声；后者通过自标记精炼器和动量混合改进无监督对比学习的标签裁定。这些方法共同指向一个趋势：通过更可靠的伪标签生成和细化来提升表示学习质量，但实际应用中需注意计算开销和超参数调整。
Q&A
噪声标签学习（LNRL）的正式定义是什么？
该研究论文从机器学习视角给出了LNRL的正式定义，并分析了噪声标签对深度学习模型性能的影响。
LNRL方法主要分为哪三个方向？
论文将LNRL方法划分为三种不同方向，并讨论了各种分类的优缺点。
JNPL方法是如何处理噪声标签的？
JNPL是一种基于联合消极和积极学习的方法，通过两个损失函数（NL+和PL+）训练CNN，并简化pipeline过程，实现对带有噪声标签数据的高效分类。
SelNLPL方法有什么特点？
SelNLPL是一种优化CNNs训练的方法，在使用负训练法（NL）的基础上，选择性地使用正训练法（PL）来训练低噪声数据，从而优化有噪声数据分类的准确性。
SNSCL框架如何解决细粒度数据集上的噪声标签问题？
SNSCL（随机容限监督对比学习）通过促进可辨别表达形式来解决标签噪音问题，综合了加权机制、避免插入噪声标签的动量联想队列，以及从生成分布中采样特征嵌入的高效随机模块。
NPN方法如何提高模型鲁棒性？
NPN通过集成部分标签学习和负向学习，自适应地将标签空间分解为候选标签和补充标签，引入困难清晰度和软清晰度两种适应性数据驱动的标签模糊辨别范式，并通过一致性正则化术语维持标签可靠性。
基于组件的伪标签细化框架是如何减少标签噪音的？
该框架利用全局特征和部分特征之间的互补关系，设计交叉一致性得分来减少标签噪音，通过对全局特征的伪标签进行部件特征预测的集成，进一步减轻全局特征聚类中的噪声，并通过标签平滑应用伪标签的部分特征。
CLIP协同训练方法如何解决噪声标签学习中的问题？
该方法利用CLIP模型的协作样本选择及预训练，通过对prompt的微调以及协同训练DNN分类器，解决在学习有噪声标签过程中由于样本选择错误累积导致的DNN训练偏见和泛化性能问题。
DCLR框架在自监督学习中的作用是什么？
DCLR使用实例加权的方法惩罚误判造成的假负样本，并产生基于噪声的负样本，以确保表示空间的均匀性，提高自监督学习中的句子表示质量，并在七个语义文本相似性任务中实现了显著性能提升。
PCL框架如何生成可靠的对比对？
PCL（Pseudo Contrastive Learning）是一个通用框架，通过生成可靠的对比对来解决生成高质量伪标签的问题，通过对负样本进行dropout来实现数据增强，实验证明在五个真实世界的图上均优于其他普遍技术。
