该文研究了针对凸目标函数的梯度流、加速梯度下降和随机梯度下降优化方法。研究发现,梯度流在希尔伯特空间中最优,但收敛缓慢;在有限维空间中,存在凸函数的梯度流曲线,其减小速度比任何单调递减且在无穷远处可积的给定函数更慢。类似的结果也适用于离散时间梯度下降、具有乘积噪声的随机梯度下降和重球 ODE 问题。
完成下面两步后,将自动完成登录并继续当前操作。