BriefGPT - AI 论文速递 · 2024-02-19T00:00:00Z

对角化 SGD：通过参数重设和平滑实现快速与收敛的非可微模型 SGD

📝

内容提要

本研究探讨了随机梯度下降（SGD）方法及其变种在训练非光滑激活函数构建的神经网络中的收敛性质，并提出了一种新的框架，证明了其在单一和双时间尺度情况下的全局收敛性。实验证明了该框架的高效性。

🏷️

标签

收敛性质 框架 神经网络 随机梯度下降 高效性