ABS-SGD：一种适用于异构 GPU 集群的带有自适应批大小的延迟同步随机梯度下降算法

我们提出了一种在异构 GPU 集群中具有自适应批大小的延迟同步随机梯度下降（ABS-SGD）算法，该算法通过全局同步来积累延迟的梯度，并使用积累的延迟梯度来更新参数，实现了计算资源的充分利用，并且在异构集群中具有收敛性。

本文介绍了一种在异构GPU集群中具有自适应批大小的延迟同步随机梯度下降（ABS-SGD）算法，通过全局同步来积累延迟的梯度并更新参数，实现了计算资源的充分利用，并在异构集群中具有收敛性。

ABS-SGD gpu 延迟同步 异构GPU集群 算法 自适应批大小 随机梯度下降 集群
原文中文，约200字，阅读约需1分钟。发表于：。
阅读原文
分享给好友