通过 HSIC-Bottleneck 正交化和等角嵌入实现持续学习饥饿规范
内容提要
本文汇总了多项连续学习研究：DualHSIC利用任务关系提升性能；HSIC瓶颈缓解梯度问题并增强鲁棒性；无回放类增量学习通过互补子网络实现；超网络方法持久记忆任务权重；经验回放结合锚定目标减少遗忘；稀疏性与异构dropout提升长序列表现；进化混合模型动态扩展架构；非对称二次函数逼近应对灾难性遗忘。
延伸解读
HSIC 瓶颈的双重角色：稳定训练与提升鲁棒性
文章指出 HSIC 瓶颈最初用于缓解深度网络中的梯度爆炸和消失问题，使极深网络无需跳跃连接也能训练；后续研究将其作为正则化器，在中间层增加正则项，让潜在表示保留预测信息的同时减少冗余，并在理论和实验上证明能增强对抗攻击的鲁棒性。这表明同一机制可同时服务于优化稳定性和表示质量。
无回放与经验回放的互补路径
在缓解灾难性遗忘上，文章呈现了两类思路：一类无需存储过去数据，通过两个互补子网络（可塑性特征提取器与解析分类器）协同学习；另一类将经验回放与“锚定”目标结合，用双层优化更新当前任务并保持对过去任务锚点的预测。前者避免隐私和存储负担，后者在精度和遗忘度量上改进标准回放，适用不同记忆预算场景。
动态架构与生物启发机制应对长序列
针对非定常数据流且无显式任务信息的情况，文章提到基于进化的混合模型可动态扩展网络架构以适应分布变化，并引入丢弃机制避免记忆过载。另一项研究则用稀疏性和异构 dropout 两种生物启发机制，提升连续学习者在长序列任务中的表现。这些方法共同关注模型容量与记忆效率的平衡。
损失函数逼近与泛化几何的关联视角
文章还收录了用非对称二次函数逼近真实损失函数来应对灾难性遗忘和大规模任务可扩展性的框架，实验显示其优于现有方法并接近上限性能。同时，一项基于信息瓶颈的研究发现神经崩溃现象与良好泛化相关，且与对比学习最优特征对应。这提示损失逼近和表示几何分析可为持续学习提供不同角度的解释。
Q&A
DualHSIC 是如何利用任务间关系来改进持续学习的？
DualHSIC 是一种基于回顾的持续学习方法，它从任务特异性和任务不变性的角度恰当利用任务间关系，从而提升模型性能，补充并改进了现有基于回顾的方法。
HSIC 瓶颈在深度神经网络训练中有什么作用？
HSIC 瓶颈可以缓解梯度爆炸和消失问题，使得在没有跳跃连接的情况下也能学习非常深的网络，并在 MNIST、FashionMNIST、CIFAR10 分类等任务上取得优异性能，同时增强对抗性攻击的鲁棒性。
无需回放的类增量学习方法是如何工作的？
该方法通过学习两个互补学习子网络之间的协同作用来实现，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器，训练时无需存储过去数据，即可掌握新课程并保留对旧课程的识别与知识。
基于超网络的方法如何实现持续学习中的记忆持久化？
该方法使用任务条件化超网络，通过简单的关键特征记住特定任务的权重，实现记忆中的持久化，并在标准持续学习基准上达到最先进性能，同时展示了在迁移学习上的应用前景。
经验回放结合锚定目标如何减少遗忘？
通过将经验回放与新的“锚定”目标相结合，使用双层优化更新当前任务知识，同时保持对过去任务一些锚点的预测，从而减少遗忘，在多个监督学习基准上改进了标准经验回放的精度和遗忘度量。
稀疏性和异构 dropout 如何提升持续学习在长序列任务中的表现？
这两种生物启发机制基于稀疏性和异构 dropout，显著提高了连续学习者在长时间序列任务中的表现，并在多项基准连续学习问题上展示了重大性能提升。
