神经梯度下降上升的均场分析:应用于功能条件矩方程

原文约200字,阅读约需1分钟。发表于:

通过研究定义在无限维函数类上的极小极大优化问题,我们限定函数在过度参数化的两层神经网络类上,并研究(i)梯度下降 - 上升算法的收敛性和(ii)神经网络的表示学习。

该研究分析了均值场 Langevin 动力学的收敛速率,发现与经验风险最小化中的对偶间隙有关。这可能提高算法收敛的效率。

相关推荐 去reddit讨论