动量的新理解:逼近特征层面的梯度下降
📝
内容提要
一个以动量为状态变量的优化器,基本形式如下:\begin{equation}\begin{aligned}\boldsymbol{M}_t =&\, \beta \boldsymbol{M}_{...
一个以动量为状态变量的优化器,基本形式如下:\begin{equation}\begin{aligned}\boldsymbol{M}_t =&\, \beta \boldsymbol{M}_{...