Gradient Reweighting: Towards Imbalanced Class-Incremental Learning
内容提要
该文综述类增量学习中的偏差与遗忘问题，涵盖CILIATE框架、长尾增量场景、SS-IL方法、初始训练策略分析、预训练模型增量学习及因果失衡纠正等研究，提出多种缓解数据与算法偏差、提升增量精度的方法。
延伸解读
类增量学习中的偏差与遗忘问题
类增量学习（CIL）面临数据偏差和算法偏差的双重挑战。数据偏差源于新旧类别样本数量不平衡，算法偏差则来自模型在增量更新时对旧类别的遗忘。文章综述的多项研究，如CILIATE框架和SS-IL方法，分别从识别重要样本和分离softmax层等角度缓解这些问题，为提升增量精度提供了不同思路。
长尾分布下的增量学习场景
文章提出了两种长尾分布的增量学习场景，并指出传统方法在这些场景下表现不佳。为此，研究者设计了两阶段基线，包含可调权重层，以减少长尾分布引起的偏差。在CIFAR-100和ImageNet-Subset上，该方法最高将平均增量精度提升了6.44个百分点，表明针对长尾问题的专门设计能有效改善增量学习性能。
初始训练策略与算法选择的影响
通过统计分析，文章量化了不同因素对增量性能的贡献，发现初始训练策略是影响平均增量准确性的主要因素，而CIL算法的选择对防止遗忘更为关键。这一发现提示实际部署中应优先优化初始训练，并根据防遗忘需求选择合适的增量算法，而非单纯追求复杂模型。
预训练模型与因果失衡纠正
基于预训练模型的增量学习成为新趋势。文章提到，BaCE方法通过构建因果路径解决新旧类别间的因果失衡，在多个任务上优于其他方法。此外，利用线性模型矫正全连接层偏见的方法在ImageNet和MS-Celeb-1M上表现更好。这些工作表明，从因果角度纠正偏差是提升增量学习效果的有效途径。
Q&A
CILIATE框架主要解决类增量学习中的什么问题？
CILIATE框架用于修复迭代学习（IL）中存在的数据集偏差和算法偏差问题，并通过识别和强制学习独特重要样本来提高iCaRL、BiC和WA等方法的性能。
长尾分布增量学习场景下有哪些解决方案？
文章提出了两种长尾分布的增量学习场景，并设计了一种包含学习可调权重层的两阶段基线，用于减少长尾分布引起的偏差，同时提高常规增量学习的性能。在CIFAR-100和ImageNet-Subset上，该方法最高平均增量精度提高了6.44个百分点。
SS-IL方法是如何解决类增量学习中的数据失衡问题的？
SS-IL方法由分离的softmax（SS）输出层和面向任务的知识蒸馏（TKD）组成，通过系统分析分类分数导致偏差的原因，解决数据失衡等问题，在多个大规模CIL基准数据集上实现了强大的最新结果。
初始训练策略对类增量学习的平均增量准确性有何影响？
通过统计分析框架量化发现，初始训练策略是影响平均增量准确性的主要因素，而CIL算法的选择对防止遗忘更为重要。基于此分析，文章提出了选择相应初始训练策略的实际建议。
基于预训练模型的类增量学习中，BaCE方法如何解决因果失衡问题？
BaCE方法通过构建来自新旧数据到新旧类别预测的因果路径，解决了新旧类别之间的因果失衡问题，并在多个任务和设置上优于其他类增量学习方法。
有哪些方法可以纠正类增量学习中的新旧类别数据不平衡问题？
文章提出了一种利用线性模型矫正全连接层的弱分类偏见的方法，在ImageNet和MS-Celeb-1M数据集上比现有算法表现更好。此外，还有基于类别不平衡的深度学习模型，使用小样本类别修正和难样本挖掘，通过迭代逐批次学习来最小化数量众多类别的影响。
