本文研究了具有延迟更新的随机逼近方案的非渐近性能。研究发现，延迟的SA更新规则能够快速收敛到固定点周围的球体，减缓了最大延迟对收敛速率的影响，并且不需要关于延迟序列的先验知识来进行步长调整。这些理论发现对TD学习、Q学习和马尔可夫采样下的随机梯度下降等算法具有有限时间效果。

本文研究了在平滑拟凸和非凸函数上的随机梯度下降法（SGD）进行延迟更新，并得出了非渐近收敛速度。研究发现，在存在噪声的情况下，延迟的影响在几次迭代后变得微不足道，算法以与标准SGD相同的最优速度收敛。此外，在使用层压梯度进行错误补偿和多个节点上做本地SGD之后通信的情况下，与现有最佳算法相比，得到了更好的结果。这些结果表明SGD对于压缩和/或延迟的随机梯度更新是具有鲁棒性的，对于分布式并行实现特别重要。