带理查森-罗伯格外推的随机梯度下降的非渐近分析
原文中文，约2300字，阅读约需6分钟。发表于：。本研究解决了使用随机梯度下降（SGD）算法在强凸光滑最小化问题中的偏差问题。我们提出了一种新的扩展方法，显著改进了先前的结果，通过表现出均方误差的分解形式，并为最优协方差矩阵的依赖提供了明确性。重要发现是均方误差的领先项具有$\mathcal{O}(n^{-1/2})$的形式，而次主项为$\mathcal{O}(n^{-3/4})$，此结果在一般情况下无法改进，预示着更精确的分析可能会推动S...
研究解决了随机梯度下降在强凸光滑最小化问题中的偏差问题。新方法改进了均方误差的分解，明确了最优协方差矩阵的依赖性。发现均方误差的主要项为$ ^{-1/2}$，次主项为$ ^{-3/4}$，表明更精确的分析可推动SGD的应用。
