BriefGPT - AI 论文速递 · 2023-10-19T00:00:00Z

解密 SGD 非凸收敛的神话与传说

📝

内容提要

本文研究了随机梯度下降法（SGD）的最终迭代中的ε-稳定点及其密度，恢复了经典的O(1/√T)渐进速率，解决了与SGD的非凸收敛性相关的迷思和传说，并提出了研究方向。

🏷️

标签

O(1/√T)渐进速率 ε-稳定点 研究方向 随机梯度下降法 非凸收敛性