带理查森-罗伯格外推的随机梯度下降的非渐近分析

BriefGPT - AI 论文速递 · 2024-10-07T00:00:00Z

研究解决了随机梯度下降在强凸光滑最小化问题中的偏差问题。新方法改进了均方误差的分解，明确了最优协方差矩阵的依赖性。发现均方误差的主要项为$ ^{-1/2}$，次主项为$ ^{-3/4}$，表明更精确的分析可推动SGD的应用。