小红花·文摘 - 小红花技术领袖俱乐部

本文探讨了AdamW优化器中权重RMS的渐近估计，指出其与学习率和权重衰减相关。通过平均场近似，得出权重RMS可预估的结论，强调这一结果的反直觉性。

AdamW的Weight RMS的渐近估计（上）

科学空间|Scientific Spaces ·