重新平衡多标签类增量学习
内容提要
本研究提出了两种新方法解决深度学习中的类别不平衡问题：标签分布感知边界损失函数和推迟重新加权的训练策略。实验结果表明，这些方法显著提高了模型性能。此外，研究还探讨了自监督学习和动态重新平衡方法在多标签学习中的应用，展示了其在多个数据集上的优越表现。
延伸解读
类别不平衡的挑战与评价指标
文章指出，类别不平衡是影响宏平均评价指标泛化范围的关键因素。在PASCAL VOC、Yahoo和MS COCO数据集上的实验表明，不平衡会导致宏平均指标不稳定。作者提出更通用的McDiarmid型浓度不等式，并发现基于成对损失和重新加权的损失函数比单变量损失函数更稳健。这提示研究者在评估多标签模型时需注意指标选择。
方法演进：从损失函数到训练策略
文章回顾了多种解决类别不平衡的方法，包括LDAM损失函数、推迟重新加权策略、不对称损失（ASL）、Partial Label Masking、SimiS和RECORDS等。这些方法从不同角度入手：有的改进损失函数，有的调整训练过程，有的利用自监督或伪标签。实验显示它们在不同数据集上均能提升性能，但适用场景和复杂度各异。
自监督与动态重新平衡的应用
文章探讨了自监督学习（如SimiS）和动态重新平衡（如RECORDS）在多标签学习中的应用。SimiS通过伪标签补充数据，在CIFAR100-LT等数据集上相对提升12.8%至16.7%；RECORDS在三个基准数据集上优于基线。这些方法表明，结合半监督或自监督技术可以有效缓解类别不平衡，但需注意伪标签质量对最终效果的影响。
Q&A
什么是标签分布感知边界损失函数？
标签分布感知边界损失函数是一种新设计的损失函数，用于解决深度学习中的类别不平衡问题。
推迟重新加权的训练策略有什么优势？
推迟重新加权的训练策略能够减轻权重的复杂性，同时提高模型对初始表示的学习能力。
自监督学习在多标签学习中的应用效果如何？
自监督学习在多标签学习中能够显著提高模型性能，尤其是在经过预训练后效果更佳。
RECORDS动态重新平衡方法的表现如何？
RECORDS动态重新平衡方法在三个基准数据集上显示出显著的优势，克服了部分标签学习和长尾学习的困难。
Partial Label Masking方法的主要特点是什么？
Partial Label Masking方法通过自适应估计正负样本比率和随机标签屏蔽技术，优化训练过程，表现优于现有方法。
类别不平衡如何影响宏平均评价指标？
类别不平衡是影响宏平均评价指标泛化范围的关键因素，提出了更通用的评价方法以应对这一问题。
