Is Deep Learning Inferior to Shallow Networks? RL Pioneer Sutton's Continuous Backpropagation Algorithm Featured in Nature
内容提要
研究发现，标准的深度学习方法在持续学习中失去可塑性，提出了持续反向传播算法来保持可塑性，实验结果表明其能提高网络性能。
延伸解读
可塑性丧失：持续学习的隐形陷阱
文章指出，标准深度学习在持续学习环境中会逐渐失去可塑性，即学习新任务的能力下降，最终表现甚至不如浅层网络。这一现象在ImageNet的持续学习变体中得到验证，性能先升后降，最终接近或低于线性基线。可塑性丧失意味着网络在任务序列中逐渐“僵化”，无法有效适应新数据，这对需要终身学习的应用构成根本性挑战。
流行正则化方法可能适得其反
研究发现，Adam、Dropout和归一化等常用方法反而加剧了可塑性的损失，而L2正则化在许多情况下能减少损失。这表明，并非所有提升泛化能力的技巧都有利于持续学习。读者在选择优化器和正则化策略时，需考虑其对可塑性的潜在影响，避免因追求短期性能而损害长期学习能力。
持续反向传播：随机重初始化保持可塑性
持续反向传播算法通过选择性重新初始化低效隐藏单元来注入随机性，维持网络可塑性。它结合传统反向传播和基于贡献效用的替换机制，替换率极低（如10^-5），确保稳定学习。在CIFAR-100类别增量学习中，最终准确率达76.13%，优于基线。这提示持续学习可能需要非梯度成分来对抗可塑性丧失。
实验设置与性能评估的启示
研究在持续ImageNet和CIFAR-100上测试，采用网格搜索优化超参数，并进行多次独立运行以减少方差。持续反向传播在100个类别中达到76.13%准确率，但需注意其依赖任务边界信息（如重置输出层权重）。实际应用中，任务边界可能未知，因此该方法需进一步适应无边界场景。
Q&A
深度学习在持续学习中面临什么问题？
标准深度学习方法在持续学习中会逐渐失去可塑性，导致学习效果不如浅层网络。
什么是持续反向传播算法？
持续反向传播算法是一种反向传播的变体，通过随机重新初始化低效单元来维持网络的可塑性。
研究中使用了哪些数据集进行实验？
研究使用了ImageNet和CIFAR-100数据集进行实验。
哪些流行方法增加了可塑性损失？
流行方法如Adam和Dropout实际上增加了可塑性的损失。
持续反向传播算法的最终准确率是多少？
持续反向传播在100个类别中的最终准确率为76.13%。
L2正则化在研究中起到了什么作用？
L2正则化在许多情况下减少了可塑性的损失，帮助保持网络的可塑性。
