去除耗时者的分散式学习中的梯度编码
原文中文,约300字,阅读约需1分钟。发表于: 。在本论文中,我们考虑了分布式学习中存在滞后问题的分散化学习问题。虽然梯度编码技术已经应用于分布式学习以规避滞后问题,其中设备发送带有冗余训练数据的编码梯度,但是直接应用这些技术到分散化学习场景中比较困难。为了解决这个问题,我们提出了一种基于流言蜚语的带有梯度编码的分散化学习方法(GOCO)。在该方法中,为了避免滞后问题的负面影响,参数向量使用基于随机梯度编码框架的编码梯度进行本地更新,并以基...
本文提出了一种分布式优化框架,通过编码数据并舍弃掉队节点来减少延迟和通信传输负担。研究结果表明,使用纠删码作为掉队者时,几种优化算法都能收敛到原始问题的近似或精确解。研究还提出了高效的大规模数据编码机制,并与其他策略进行了比较。