BriefGPT - AI 论文速递
·
可靠分布式压缩机器学习模型训练
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本研究提出了一种名为adaComp的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了worker更新模型数据压缩。实验结果显示，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级。
🎯
关键要点
-
提出了一种名为adaComp的新算法
-
算法结合了梯度选择和学习率调节
-
在分布式深度学习计算中实现了worker更新模型数据压缩
-
通过在模拟平台上嵌入TensorFlow到Linux容器中进行实验
-
相对于标准异步随机梯度下降，保持模型精度的同时，减少了工人发送到服务器的总数据量两个数量级
-
在MNIST数据集上的卷积网络中，数据量减少了191倍
🏷️
