大模型训练不稳定是常见问题，表现为loss尖峰、发散或NaN。关键预警信号是梯度范数异常，而非loss本身。常用修复手段各有针对：warmup解决Adam早期方差，Pre-LN保持恒等映射，BF16扩大数值范围，梯度裁剪仅作保险丝。loss spike根因包括数值、优化和数据问题。小模型稳定超参放大后失效，因学习率安全窗口随规模收窄，可用μP等方法解决。

本文讨论了权重衰减算法Weight Decay的缺点，并介绍了一种名为Scheduled Weight Decay的算法来解决这些问题。Scheduled Weight Decay通过调整权重衰减的强度来抑制梯度范数，改善模型的泛化能力。文章认为Weight Decay的缺点是被忽视的，而Scheduled Weight Decay是一种解决方案，但并非终极答案。