动量优化器在机器学习中非常重要，通常依赖于梯度的指数移动平均（EMA）。本文质疑单一EMA的有效性，提出了AdEMAMix，通过混合两个EMA更有效地利用历史梯度。实验结果表明，梯度在数万步内仍然相关，能够加速收敛、降低损失，并显著减缓模型遗忘。