DSLR：多样性增强和结构学习的基于重演的图连续学习
内容提要
本文综述持续学习中的样本选择与经验回放策略，涵盖GRASP、Gradient Coreset Replay、ER-GNN、Dirichlet连续学习、LiDER等方法，利用代表性样本选择、伪样本生成、知识蒸馏和图重构等技术缓解灾难性遗忘，在图像与文本分类任务上优于现有基线。
延伸解读
样本选择策略的多样性
文章综述了多种持续学习中的样本选择策略，如GRASP、Gradient Coreset Replay和ER-GNN等。这些方法通过选择最具代表性的样本或经验节点进行回放，以缓解灾难性遗忘。不同策略适用于不同场景：GRASP在图像和文本分类中均有效，而ER-GNN专门针对图结构数据。读者可根据任务类型和数据模态选择合适的策略。
生成回放与知识蒸馏的结合
Dirichlet连续学习（DCL）利用Dirichlet分布建模潜在先验，生成伪样本，并结合Jensen-Shannon知识蒸馏增强知识传递。这种方法在意图检测和槽填充任务上优于现有方法。生成回放能弥补旧样本不足，但可能引入噪声；知识蒸馏则有助于稳定训练。两者结合为资源受限的持续学习提供了新思路。
图持续学习的专门方法
针对图神经网络中的灾难性遗忘，文章介绍了ER-GNN和图重构技术。ER-GNN存储并重放先前任务的节点经验，探索了三种节点选择策略；图重构则旨在提升GNN的表达能力。这些方法在非欧几里德增量图结构学习中表现出潜力，但实际部署时需考虑图数据的动态性和计算开销。
半监督与稳定性优化
半监督连续学习（SSCL）结合伪标记、一致性正则化和知识蒸馏，在CIFAR-100实验中平均任务准确率提升高达54.5%，同时减少存储图像数量。LiDER通过对网络各层施加Lipschitz约束，防止缓冲区过拟合导致的决策边界不稳定。这些方法在标注数据有限或需要稳定性能的场景下具有实用价值。
Q&A
什么是GRASP样本选择策略？它在持续学习中有什么作用？
GRASP是一种样本选择策略，通过选择最具代表性的样本来更新神经网络，从而在持续学习中缓解灾难性遗忘。它在图像分类和文本分类任务上均表现优秀。
Gradient Coreset Replay如何应对持续学习中的灾难性遗忘？
Gradient Coreset Replay是一种基于重演的持续学习策略，通过选择梯度核心集进行回放，有效应对灾难性遗忘，并在离线和在线持续学习场景中相比现有方法取得显著收益。
ER-GNN框架是如何将经验回放应用于图连续学习的？
ER-GNN框架将经验回放应用于连续图学习范式，存储来自先前任务的知识和经验，在学习新任务时重放以缓解GNN中的灾难性遗忘，并探索了三种经验节点选择策略。
Dirichlet连续学习（DCL）如何生成伪样本以缓解灾难性遗忘？
DCL利用Dirichlet分布建模潜在先验变量，捕捉先前任务的句子级特征，指导伪样本生成，并采用Jensen-Shannon知识蒸馏增强知识传递，在意图检测和槽填充任务上优于最先进方法。
LiDER方法如何防止缓冲区过拟合？
LiDER通过在重播示例中对网络的每一层进行Lipschitz限制，提出监督目标以诱导平滑的反向传播，从而防止缓冲区过拟合引起的紧张和不稳定的决策边界，提供稳定的性能提升。
半监督连续学习（SSCL）模型使用了哪些策略？效果如何？
SSCL模型使用伪标记、一致性正则化、知识蒸馏和外域检测策略，在SSCL CIFAR-100实验中最多提高54.5%平均任务准确性，并减少存储图像数量。
