通过协同计算内存网络中的频域压缩在边缘处控制模拟数据洪水

该研究提出了一种名为adaComp的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了worker更新模型数据压缩。在模拟平台上嵌入TensorFlow到Linux容器中进行实验，相对于标准异步随机梯度下降，保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级。例如，在MNIST数据集上的卷积网络中，减少了191倍。