本研究提出了一种具有多重外推动量的随机一阶方法（SFOM），用于高度平滑的无约束随机优化问题。该方法通过多次外推和动量步骤加速优化，实验和理论分析表明其样本复杂度优于现有最佳结果，具有实际应用潜力。

本研究提出了一种完全随机原始对偶梯度算法（FSPDA），旨在解决随机分散优化中的同步开销和间歇通信问题。该算法通过非阻塞稀疏通信与局部随机梯度更新，加速收敛，并在非凸目标函数下实现精确收敛，首次展示了异步算法的有效性。

本文探讨无强凸性假设下的双层优化问题，提出了新的算法框架和稳定性条件，研究了随机二级优化方法，改进了复杂性界限，并提出了一阶算法以优化罚函数，达到ε-稳定解。此外，研究了零阶随机逼近算法及其样本复杂度，强调了新算法在非凸-强凸双层优化中的有效性和计算效率。

本文提出了一种新方法，通过自适应调整约束惩罚和最大迭代次数，加速ADMM收敛，提升分布式优化效率。研究涵盖异步ADMM算法、随机原始-对偶算法及去中心化在线随机非凸优化，验证了算法在多种数据集上的优越性能和收敛性。

本文提出了一种针对非线性机器人系统的闭环控制方案，利用增量马尔可夫决策过程（iMDP）算法优化控制策略，降低跟踪偏差。同时，研究探讨了基于最大熵的强化学习方法和新的随机优化算法，强调了其在非凸环境中的收敛性及在机器人应用中的有效性。

本文提出了一种新的鲁棒回归方法，通过整合不确定性集并采用平均方法，优化普通最小二乘回归问题。研究证明了不同不确定性集的等价性，并在合成数据集上展示了该方法在高噪声环境中的优越样本外性能。此外，研究探讨了鲁棒统计推断的推广及其在随机优化中的应用。

本文提出了一种新的随机优化算法，结合块坐标下降和矩阵草图技术，显著改善了线性系统的收敛性能和迭代速度。研究表明，算法的收敛性与矩阵的条件数相关，利用稀疏随机草图构建低秩近似，可以更快速地解决线性代数问题。

本文介绍了一种基于蒙特卡洛采样的随机优化算法，旨在快速逼近复杂潜在变量模型的后验概率分布。研究了深度学习中的归一化层，提出了改进的均值和方差估计方法，以提升计算机视觉任务的准确性。同时，探讨了变分推理算法及其收敛性，提出新的估计器和优化方法，并验证了其在实际应用中的有效性。

本文提出了一个基于非参数 $f$- 分歧球构建的分布不确定性集合的广义经验似然框架，用于随机优化问题，以实现达到精确覆盖的单侧和双侧置信区间。研究的分布鲁棒公式的优化器具有一致性属性。

该文介绍了一种使用卡尔曼过滤器进行随机优化的算法，在非凸设置下具有收敛性理论，并在机器学习领域上展示了其改进的性能。同时，还介绍了一种分布式版本的算法，并将其扩展到 SGD 动量和 RMSProp。

Adam是一种用于基于梯度的随机目标函数优化的算法，易于实现、计算效率高、占用内存少，适合在数据和/或参数方面比较大的问题。实证结果表明Adam在实践中效果良好，并且与其他随机优化方法相比具有优势。同时，还讨论了一种基于无穷范数的Adam变体AdaMax。该算法的理论收敛性质被分析，并提供了一个和在线凸优化框架下已知最好的收敛速率相当的遗憾界。

该论文研究了单输出节点全连接神经网络的差分隐私随机优化问题，提出了多个算法。研究表明，不同数据维度下可实现超出总体风险的可行性。此外，还研究了具有ReLU激活函数的两层神经网络以及DP-SGD在全连接多层神经网络中的理论保证和参数的作用。

该研究探讨了分布式网络中拜占庭鲁棒随机优化问题，并引入了SAGA和LSVRG两种方差减小方法，实现了线性收敛速度和随机梯度噪声独立的学习误差。该方法在基于TV范数正则化和随机子梯度更新的方法中表现最优，并在广泛的拜占庭攻击实验中得到了验证。