Adaptive Consensus Gradient Aggregation for Large-Scale Distributed Training

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新型加权方案和子空间动量,以提高有限通信条件下分布式深度学习的梯度聚合效率,实验结果表明其优于传统方法。

🏷️

标签

➡️

继续阅读