标签噪声随机梯度下降的泛化界

原文中文,约400字,阅读约需1分钟。发表于:

我们在非凸设置下,使用均匀耗散和平滑条件对带有标签噪声的随机梯度下降(SGD)进行了泛化误差界限的研究。在合适的半度量选择下,我们建立了依赖于参数维度 $d$ 的标签噪声随机梯度流的 Wasserstein 距离压缩。利用算法稳定性框架,我们推导出了具有恒定学习率的离散化算法的时间独立泛化误差界限。我们所实现的误差界限与 $d$ 的多项式和 $n^{-2/3}$ 的速率成多项式比例,其中...

该研究研究了带有标签噪声的随机梯度下降(SGD)的泛化误差界限,使用均匀耗散和平滑条件在非凸设置下进行研究。通过算法稳定性框架,推导出了具有恒定学习率的离散化算法的时间独立泛化误差界限,并提供了关于标签噪声影响的定量洞察。

相关推荐 去reddit讨论