BriefGPT - AI 论文速递 · 2025-05-08T00:00:00Z

Precise Gradient Descent Training Dynamics of Finite Width Multilayer Neural Networks

📝

内容提要

本文首次精确描述了多层神经网络的梯度下降迭代分布，解决了样本量与特征维度成比例增长的问题。理论揭示了权重的波动与集中特性，并提供了一致的泛化误差估计，指导早停与超参数调优。

🏷️

标签

多层神经网络 权重波动 梯度下降 泛化误差 超参数调优