本文研究了在平滑拟凸和非凸函数上的随机梯度下降法（SGD）进行延迟更新，并得出了非渐近收敛速度。研究发现，在存在噪声的情况下，延迟的影响在几次迭代后变得微不足道，算法以与标准SGD相同的最优速度收敛。此外，在使用层压梯度进行错误补偿和多个节点上做本地SGD之后通信的情况下，与现有最佳算法相比，得到了更好的结果。这些结果表明SGD对于压缩和/或延迟的随机梯度更新是具有鲁棒性的，对于分布式并行实现特别重要。