本文综述多项梯度优化研究：RGO无需数据重放即可减少遗忘，在连续分类基准上取得最佳性能；研究还涉及Adam等自适应算法、NAG收敛速度、在线凸优化RHIG、演化DAG自动生成网络、径向基函数调参、ECCO-DNN自适应步长优化器、图优化深度强化学习、AGDP加速方法及基于决策树的混合整数优化近似。