关于Kolmogorov--Arnold网络的（随机）梯度下降收敛性

原文中文，约400字，阅读约需1分钟。发表于：。

本文解决了Kolmogorov--Arnold网络（KANs）在使用随机梯度下降（SGD）优化时的收敛性问题，填补了该领域的理论空白。通过对两层KAN的梯度下降（GD）和SGD进行严格收敛分析，发现当隐藏维度足够大时，GD在回归问题上实现了全局线性收敛，同时SGD也展现出相似的全局收敛性。这项研究首次证明了应用于优化KANs及物理信息KANs的GD和SGD的全球收敛性保证。

研究分析了随机梯度下降（SGD）及其变种在非光滑激活函数神经网络中的收敛性，提出了一个新的框架，通过更新动量项和不同时间尺度的变量分配。在温和条件下，证明了该框架的全局收敛性，并能找到目标函数的Clarke稳定点。数值实验表明这些方法效率高。