BriefGPT - AI 论文速递 · 2023-08-29T00:00:00Z ABS-SGD：一种适用于异构 GPU 集群的带有自适应批大小的延迟同步随机梯度下降算法 💡 原文中文，约200字，阅读约需1分钟。 📝 内容提要 本文介绍了一种在异构GPU集群中具有自适应批大小的延迟同步随机梯度下降（ABS-SGD）算法，通过全局同步来积累延迟的梯度并更新参数，实现了计算资源的充分利用，并在异构集群中具有收敛性。 🏷️ 标签 ABS-SGD gpu 延迟同步 异构GPU集群 算法 自适应批大小 随机梯度下降 集群 阅读原文 生成长图 分享链接 已复制链接
