NeurIPS 2023 | 深入探讨 Weight Decay 的前世今生和隐藏缺陷
内容提要
本文讨论了权重衰减算法Weight Decay的缺点，并介绍了一种名为Scheduled Weight Decay的算法来解决这些问题。Scheduled Weight Decay通过调整权重衰减的强度来抑制梯度范数，改善模型的泛化能力。文章认为Weight Decay的缺点是被忽视的，而Scheduled Weight Decay是一种解决方案，但并非终极答案。
延伸解读
三种 Weight Decay 的区分与选择
文章指出 Weight Decay 有三种不同实现：L2 正则化、Decoupled Weight Decay 和原始 Weight Decay。其中原始 Weight Decay 因学习率解耦形式在训练后期强度过大，效果不如 Decoupled Weight Decay。对于自适应优化器，Decoupled Weight Decay 通常明显优于 L2 正则化，因此建议将其作为默认实现，而 L2 正则化作为备选。
Weight Decay 的隐藏缺陷：梯度范数增大
实验发现，增加 Weight Decay 强度会导致梯度范数显著增大，这与传统认知相悖。从优化、泛化和正则化三个角度看，梯度范数增大会损害收敛性、泛化能力并增加权重复杂性。这一缺陷在自适应优化器中尤为突出，说明 Weight Decay 并非只有正则化益处。
Scheduled Weight Decay 的缓解思路
针对上述缺陷，作者提出 Scheduled Weight Decay，动态调整衰减强度：梯度范数大时减弱衰减，小时则增强。实验显示，该方法能有效抑制训练晚期的梯度范数，并找到更平坦的极小值（top Hessian 特征值更小），从而可能改善泛化。但作者强调它并非终极解决方案。
研究视角：从工程到科学
文章提到，审稿人可能更关注算法性能，而作者认为核心贡献在于定位 Weight Decay 的隐藏缺陷，算法只是副产品。这种将 AI 作为客观研究对象的视角被称为 Science of AI，旨在发现规律而非单纯提升指标。Weight Decay 仍有许多未知问题待探索。
Q&A
Weight Decay 的主要缺点是什么？
Weight Decay 的主要缺点包括导致梯度范数增大，从而影响收敛性和泛化能力。
Scheduled Weight Decay 是什么？
Scheduled Weight Decay 是一种算法，通过调整权重衰减的强度来抑制梯度范数，改善模型的泛化能力。
Weight Decay 有哪些不同的实现方式？
Weight Decay 有三种实现方式：L2 正则化、Decoupled Weight Decay 和原始 Weight Decay。
为什么第三种 Weight Decay 的效果不如第二种？
第三种 Weight Decay 在训练后期表现出较大的缺点，尤其是在学习率衰减较小的情况下，权重衰减的强度总是太大。
Scheduled Weight Decay 如何改善模型性能？
Scheduled Weight Decay 通过在梯度范数过大时减小权重衰减强度，从而有效抑制梯度范数，改善模型性能。
Weight Decay 的缺陷是否有终极解决方案？
研究者认为，Scheduled Weight Decay 不是解决 Weight Decay 所有问题的终极答案，仍需进一步探索。
