层次联邦学习中的子模型分割:算法设计与收敛分析
原文约300字/词,阅读约需1分钟。发表于: 。我们提出了一种新的分层联邦学习方法 - 分层独立子模型训练(HIST),它通过将全局模型划分为不相交的子模型,并将它们分布在不同的细胞中来解决分层环境下的计算、存储和通信负担问题。我们证明了 HIST 对于非凸损失函数的收敛行为,并展示了几个属性(例如细胞的数量、本地和全局聚合频率)对性能效率权衡的影响。通过数值实验,我们验证了 HIST 能够大幅节省通信成本,并实现相同的目标测试准确率。
该文介绍了一种新的分层联邦学习方法 - 分层独立子模型训练(HIST),通过将全局模型划分为不相交的子模型,并将它们分布在不同的细胞中来解决分层环境下的计算、存储和通信负担问题。作者证明了 HIST 对于非凸损失函数的收敛行为,并展示了几个属性对性能效率权衡的影响。数值实验验证了 HIST 能够大幅节省通信成本,并实现相同的目标测试准确率。