新的随机梯度下降的对数步长

BriefGPT - AI 论文速递 · 2024-04-01T00:00:00Z

该论文提出了一种新的方法，通过引入基于 1/√t 的修改衰减步长来提高随机梯度下降算法的性能。实验结果显示，相比传统的 1/√t 步长，准确率明显提高，分别观察到 0.5% 和 1.4% 的增益。