该文综述了指数移动平均（EMA）在深度学习优化中的应用，涵盖BELAY算法、缩放规则、GAN参数平均、双教师伪标签、EMAN归一化、半监督语音识别、Admeta优化器、SWA权重平均及Bloop双层优化等方法，表明EMA能提升泛化能力并缩短训练时间。

研究发现，小批量随机梯度下降噪声会导致长时间跨度奖励出现尖锐振荡，但迭代的指数移动平均在减轻梯度方差放大方面非常有效。