自适应优化与归一化的连续时间分析

本研究解决了自适应优化算法（如Adam及其变种AdamW）在现代深度学习中的训练动态缺乏理论理解的问题。提出了一种Adam和AdamW的连续时间形式，能够更清晰地分析训练动态，发现Adam的超参数范围并验证了规范化层成功的隐含元自适应效应。研究结果有助于优化超参数选择和架构决策，推动深度学习进步。