本研究提出了一种新型加权方案和子空间动量,以提高有限通信条件下分布式深度学习的梯度聚合效率,实验结果表明其优于传统方法。
本文提出了一种新颖的分层联邦学习算法,结合了量化通信效率,并对统计异质性具有鲁棒性。该方法将梯度聚合与模型聚合相结合,通过全面的分析框架评估其最优性差距和收敛速度,并与传统算法进行比较。研究结果表明,在一系列参数下,该算法始终能够实现高学习准确率,并在具有异构数据分布的场景中明显优于其他分层算法。
完成下面两步后,将自动完成登录并继续当前操作。