Balancing Causal Effects in Class-Incremental Learning
内容提要
该文综述类增量学习，提出因果框架解释灾难性遗忘，指出特征蒸馏因果效应不足，建议基于碰撞效应的因果蒸馏。同时介绍测试时适应、初始训练策略分析、CILIATE框架、任务内与任务ID预测分解、PEC方法、长尾增量场景及二阶段训练，均提升性能。
延伸解读
因果视角下的灾难性遗忘
文章提出因果框架解释类增量学习中的灾难性遗忘，指出特征蒸馏的因果效应与端到端特征学习不匹配，而数据回放能保留该效应。基于此，作者建议采用基于碰撞效应的因果蒸馏，在不增加回放存储的情况下缓解遗忘。这一视角将遗忘归因于因果机制，为现有抗遗忘技术提供了新的理论解释。
初始训练策略与算法选择的分工
通过统计分析，文章量化了各因素对增量性能的贡献，发现初始训练策略主要影响平均增量准确性，而CIL算法的选择更关键于防止遗忘。这意味着实际部署时，应优先选择合适算法来抑制遗忘，再通过调整初始训练策略提升整体准确率，两者作用不同，需分别优化。
任务内预测与任务ID预测的分解
研究将类增量学习分解为任务内预测和任务ID预测两个子问题，后者与分布外检测相关。结论是优秀的任务内预测和任务ID预测（或OOD检测）对良好CIL表现既必要又充分。这提示改进CIL可从提升这两个子问题入手，而非仅依赖端到端训练。
长尾增量场景的两阶段基线
文章提出两种长尾分布的增量学习场景，并设计包含可调权重层的两阶段基线，以减少长尾偏差并提升常规增量学习性能。在CIFAR-100和ImageNet-Subset上，该方法最高平均增量精度提升6.44个百分点。这表明处理长尾分布时，显式校正偏差能带来显著收益。
Q&A
类增量学习中的灾难性遗忘为什么难以解决？
文章提出一个因果框架来解释灾难性遗忘，指出特征/标签蒸馏虽然存储效率高，但其因果效应与端到端特征学习的优点不相符，而数据回放能保留该效应，因此遗忘难以通过简单蒸馏缓解。
基于碰撞效应的因果蒸馏方法有什么优势？
该方法与数据回放和特征/标签蒸馏等抗遗忘技术正交，能在不损失回放存储的情况下缓解类增量学习中的遗忘效应，实验表明能显著提高各类增量学习方法的性能。
TTACIL方法如何避免类增量学习中的遗忘？
TTACIL在测试时对预训练模型的层归一化参数进行微调，学习任务特定特征，然后重置为基本模型以保持稳定性，从而避免遗忘，并在干净和损坏数据下的多个基准测试中胜过其他最先进方法。
初始训练策略对类增量学习的性能有多大影响？
通过统计分析框架量化发现，初始训练策略是影响平均增量准确性的主要因素，而CIL算法的选择对防止遗忘更为重要。基于此，文章提出了选择相应初始训练策略的实际建议。
CILIATE框架如何提升类增量学习方法的性能？
CILIATE是一个新框架，用于修复迭代学习中的数据偏差和算法偏差问题，通过在三个流行数据集上识别独特重要样本并强制学习，提高了iCaRL、BiC和WA等方法的性能。
类增量学习问题可以分解为哪两个子问题？
可以分解为任务内预测（WP）和任务ID预测（TP），其中TP与分布外检测（OOD）相关联。优秀的WP和TP或OOD检测对于良好的CIL表现是必要且充分的，基于此设计的新方法在CIL和TIL设置中均优于强基线。
PEC方法在类增量学习中表现如何？
PEC基于预测误差的分类，用于解决遗忘和不平衡问题。实验表明，PEC在单次数据通过的CIL中表现出色，在多个基准测试中优于其他无重复排练基线和中等重放缓冲区大小的重放基础方法。
长尾分布的增量学习场景下有哪些解决方案？
文章提出了两种长尾分布的增量学习场景，并给出一种包含学习可调权重层的两阶段基线，用于减少长尾分布引起的偏差，同时提高常规增量学习性能。在CIFAR-100和ImageNet-Subset上，最高平均增量精度提高6.44个百分点。
