BriefGPT - AI 论文速递 · 2024-10-10T00:00:00Z

Adam Utilizes the $ ext{l}_ ext{infty}$ Geometry of Loss Landscapes through Coordinate Adaptivity

📝

内容提要

研究深入分析了Adam优化算法在训练语言模型时比SGD更有优势，主要因为其有效利用了$ _ ext{infty}$几何。新的收敛分析显示，在特定条件下，Adam的表现显著提升，尤其在GPT-2和ResNet模型中得到了验证。

🏷️

标签

Adam优化算法 GPT-2 ResNet SGD 语言模型