本文研究了多智能体去中心化优化问题，特别是非凸平滑函数和凸扩展值函数的最小化。基于Kurdyka-Łojasiewicz (KL)性质，证明了分散梯度跟踪算法SONATA的收敛性，并提供了不同情况下的收敛速率，为去中心化优化方法提供了强有力的收敛保证。

本研究提出了一种完全随机原始对偶梯度算法（FSPDA），旨在解决随机分散优化中的同步开销和间歇通信问题。该算法通过非阻塞稀疏通信与局部随机梯度更新，加速收敛，并在非凸目标函数下实现精确收敛，首次展示了异步算法的有效性。

本文研究了差分隐私下的经验风险最小化问题，提出了一种新算法以降低梯度复杂度，并扩展至非凸函数。实证评估表明，该算法在效用上优于传统方法，适用于多种函数类型，提供了有效的隐私保护解决方案。

本文研究了非光滑、非凸的Lipschitz目标函数在噪声评估下的$( heta, au)$-稳定点生成复杂性，提出的算法具有$O(d heta^{-1} au^{-3})$的复杂度和最优收敛速率。同时，探讨了去中心化在线随机非凸优化的优势及其有效性，分析了GT-DSGD算法的线性收敛性。

本文探讨了随机梯度下降法（SGD）在现代机器学习中的收敛性，证明了其在凸和强凸函数下的收敛速度，并在非凸情况下也能有效找到稳定点。实验验证了加速随机梯度方法在最小二乘回归中的应用，提出的新算法和优化方法显示出优于传统方法的性能。

本文提出了一种基于梯度的凸优化算法，设计了具有最强收敛保证的加速优化算法，进一步扩展到一类非凸函数，并在基准数据集上验证了其优异性能。算法可以均匀地控制逃离非退化鞍点所需的时间。

本文研究了在平滑拟凸和非凸函数上的随机梯度下降法（SGD）进行延迟更新，并得出了非渐近收敛速度。研究发现，在存在噪声的情况下，延迟的影响在几次迭代后变得微不足道，算法以与标准SGD相同的最优速度收敛。此外，在使用层压梯度进行错误补偿和多个节点上做本地SGD之后通信的情况下，与现有最佳算法相比，得到了更好的结果。这些结果表明SGD对于压缩和/或延迟的随机梯度更新是具有鲁棒性的，对于分布式并行实现特别重要。