本研究提出了一种名为adaComp的新算法,结合了梯度选择和学习率调节,在分布式深度学习计算中实现了worker更新模型数据压缩。实验结果显示,在保持模型精度的同时,将工人发送到服务器的总数据量减少了两个数量级。
完成下面两步后,将自动完成登录并继续当前操作。