关于Kolmogorov--Arnold网络的（随机）梯度下降收敛性

BriefGPT - AI 论文速递 · 2024-10-10T00:00:00Z

研究分析了随机梯度下降（SGD）及其变种在非光滑激活函数神经网络中的收敛性，提出了一个新的框架，通过更新动量项和不同时间尺度的变量分配。在温和条件下，证明了该框架的全局收敛性，并能找到目标函数的Clarke稳定点。数值实验表明这些方法效率高。