本研究提出了一种具有多重外推动量的随机一阶方法（SFOM），用于高度平滑的无约束随机优化问题。该方法通过多次外推和动量步骤加速优化，实验和理论分析表明其样本复杂度优于现有最佳结果，具有实际应用潜力。

本文提出了一个基于非参数 $f$- 分歧球构建的分布不确定性集合的广义经验似然框架，用于随机优化问题，以实现达到精确覆盖的单侧和双侧置信区间。研究的分布鲁棒公式的优化器具有一致性属性。

该文介绍了一种使用卡尔曼过滤器进行随机优化的算法，在非凸设置下具有收敛性理论，并在机器学习领域上展示了其改进的性能。同时，还介绍了一种分布式版本的算法，并将其扩展到 SGD 动量和 RMSProp。

Adam是一种用于基于梯度的随机目标函数优化的算法，易于实现、计算效率高、占用内存少，适合在数据和/或参数方面比较大的问题。实证结果表明Adam在实践中效果良好，并且与其他随机优化方法相比具有优势。同时，还讨论了一种基于无穷范数的Adam变体AdaMax。该算法的理论收敛性质被分析，并提供了一个和在线凸优化框架下已知最好的收敛速率相当的遗憾界。

该论文研究了单输出节点全连接神经网络的差分隐私随机优化问题，提出了多个算法。研究表明，不同数据维度下可实现超出总体风险的可行性。此外，还研究了具有ReLU激活函数的两层神经网络以及DP-SGD在全连接多层神经网络中的理论保证和参数的作用。

该研究探讨了分布式网络中拜占庭鲁棒随机优化问题，并引入了SAGA和LSVRG两种方差减小方法，实现了线性收敛速度和随机梯度噪声独立的学习误差。该方法在基于TV范数正则化和随机子梯度更新的方法中表现最优，并在广泛的拜占庭攻击实验中得到了验证。