无先验平衡重放：基于不确定性引导的长尾持续学习的水库抽样
原文中文，约1300字，阅读约需4分钟。
📝
内容提要
本文介绍了一种新的基于神经网络的连续学习算法UCL，旨在解决灾难性遗忘和噪声标签问题。通过引入新的抽样策略和分类器，实验结果表明该算法在多种学习任务中表现优异，显著减少遗忘现象并提高准确率。
🔎
延伸解读
长尾分布下的持续学习挑战
文章指出，在长尾标签分布下，持续学习面临灾难性遗忘和少数概念上的破坏性遗忘。少数类样本稀少，模型容易在后续任务中遗忘这些概念，导致整体性能下降。这要求算法不仅要缓解一般遗忘，还需特别关注尾部类别的保留。
抽样策略与分类器改进
为应对上述挑战，文章提出了分区水库抽样（PRS）策略来防止遗忘，并使用最近中心点法（NCM）替代Softmax分类器以解决偏差问题。同时引入有监督对比重播（SCR），更有效地利用NCM分类器，实验表明能大幅减少严重遗忘。
噪声标签与重放策略的演进
文章还探讨了噪声标签下的持续学习，提出了基于回归的框架和替代经验重放（AER）等方法。AER利用遗忘特性区分干净、复杂和噪声样本，结合不对称平衡采样提升样本纯度，平均提高准确率4.71%。这些进展显示重放策略在应对噪声和遗忘方面不断优化。
❓
Q&A
UCL算法的主要目标是什么？
UCL算法旨在解决灾难性遗忘和噪声标签问题。
UCL算法如何减少灾难性遗忘？
UCL通过引入Partitioning Reservoir Sampling (PRS)新抽样策略和Gradient Coreset Replay策略来减少灾难性遗忘。
UCL算法在学习任务中的表现如何？
UCL算法在监督学习和强化学习任务中表现优异，超过了最新技术。
什么是最近中心点法（NCM），它的作用是什么？
最近中心点法（NCM）用于替代Softmax分类器，以解决偏差问题并提高分类准确性。
有监督对比重播（SCR）如何提高UCL的效果？
SCR有效利用NCM分类器，显著减少严重遗忘情况。
UCL算法的创新点有哪些？
UCL算法的创新点包括引入Kullback-Leibler散度项、PRS抽样策略和NCM分类器等。
🏷️
