Is Deep Learning Inferior to Shallow Networks? RL Pioneer Sutton's Continuous Backpropagation Algorithm Featured in Nature
原文日文，约4400字，阅读约需11分钟。
📝
内容提要
研究发现，标准的深度学习方法在持续学习中失去可塑性，提出了持续反向传播算法来保持可塑性，实验结果表明其能提高网络性能。
❓
Q&A
深度学习在持续学习中面临什么问题？
标准深度学习方法在持续学习中会逐渐失去可塑性，导致学习效果不如浅层网络。
什么是持续反向传播算法？
持续反向传播算法是一种反向传播的变体，通过随机重新初始化低效单元来维持网络的可塑性。
研究中使用了哪些数据集进行实验？
研究使用了ImageNet和CIFAR-100数据集进行实验。
哪些流行方法增加了可塑性损失？
流行方法如Adam和Dropout实际上增加了可塑性的损失。
持续反向传播算法的最终准确率是多少？
持续反向传播在100个类别中的最终准确率为76.13%。
L2正则化在研究中起到了什么作用？
L2正则化在许多情况下减少了可塑性的损失，帮助保持网络的可塑性。
🏷️
