本文介绍了一种零阶Frank-Wolfe算法，用于解决约束随机优化问题。该算法无需投影，不需要计算梯度，可收敛于凸平滑约束下的优化目标函数。对于非凸函数，该算法的Frank-Wolfe gap为O(d^{1/3} T^{-1/4})，并在黑盒优化设置上进行实验，证明了其效果。

本文提出了一种基于梯度的凸优化算法，设计了具有最强收敛保证的加速优化算法，进一步扩展到一类非凸函数，并在基准数据集上验证了其优异性能。算法可以均匀地控制逃离非退化鞍点所需的时间。

本文研究了在平滑拟凸和非凸函数上的随机梯度下降法（SGD）进行延迟更新，并得出了非渐近收敛速度。研究发现，在存在噪声的情况下，延迟的影响在几次迭代后变得微不足道，算法以与标准SGD相同的最优速度收敛。此外，在使用层压梯度进行错误补偿和多个节点上做本地SGD之后通信的情况下，与现有最佳算法相比，得到了更好的结果。这些结果表明SGD对于压缩和/或延迟的随机梯度更新是具有鲁棒性的，对于分布式并行实现特别重要。