本研究提出时序差分流(TD-Flow)方法,旨在解决预测模型推理中的小错误累积问题,直接预测未来状态,从而提升预测质量。TD-Flow通过降低梯度方差,展示了在多个领域的优越性,表明其在长期决策中的潜在影响。
本研究提出了一种名为梯度一致性过滤(GAF)的方法,以提高分布式深度学习优化中的模型鲁棒性。该方法通过计算微梯度的余弦距离,过滤冲突更新,减少梯度方差,提升验证准确率,并显著降低噪声标签的记忆现象。
本文综述自适应批大小与学习率优化方法:通过估计梯度方差动态调整批大小,可消除学习率衰减需求并加快收敛。相关方法(如AdaBatchGrad、AdaScale SGD、AdaBatch)在图像分类、机器翻译、BERT预训练等任务中提升训练效率与稳定性,且计算开销低、无需新增超参数。
该文综述随机梯度下降(SGD)的泛化与收敛研究:证明少量迭代即可使泛化误差消失;提出基于梯度方差的稳定性指标并改进泛化误差界;在非凸优化中无需梯度有界假设达到最优收敛率,方差为零时线性收敛;给出依赖梯度方差与局部光滑性的泛化上界;发现全样本梯度下降更易过拟合;证明恒定步长SGD与Nesterov加速同速,并能高效找到一阶稳定点。
完成下面两步后,将自动完成登录并继续当前操作。