梯度下降的非均匀平滑性
原文中文,约300字,阅读约需1分钟。发表于: 。该研究介绍了一种局部一阶平滑性 oracle(LFSO),可以用于调整梯度下降方法的步长,从而改善全局和局部收敛性。通过应用 LFSO 于修正的一阶方法,可以在非强凸问题中实现全局线性收敛速度,从而提高了一般(加速)一阶方法的收敛率下界。
该研究探讨了使用随机梯度下降来最小化Lipschitz函数和强凸函数但不一定可微的问题。通过证明,在T步随机梯度下降后,最终迭代的误差高概率为O(log(T)/T)。同时,构造了一个函数,证明了在确定性梯度下降中,最终迭代的误差为Ω(log(T)/T)。在采用后缀平均法的情况下,证明了其高概率误差界是优化函数相关类别中的最优界(O(1/T))。最后,证明了对于Lipschitz和凸函数类,使用随机梯度下降解决此问题后,最终迭代的误差高概率为O(log(T)/sqrt(T))。