有限维与无限维希尔伯特空间中凸函数的梯度流的定性差异

该文研究了针对凸目标函数的梯度流、加速梯度下降和随机梯度下降优化方法。研究发现，梯度流在希尔伯特空间中最优，但收敛缓慢；在有限维空间中，存在凸函数的梯度流曲线，其减小速度比任何单调递减且在无穷远处可积的给定函数更慢。类似的结果也适用于离散时间梯度下降、具有乘积噪声的随机梯度下降和重球 ODE 问题。