邻域与全球扰动支持的联邦学习中的SAM:从局部调整到全球意识
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了联邦学习中因参与者数据异质性导致的局部最优发散问题。提出了一种新型联邦学习算法FedTOGA,旨在在保持最小上传通信开销的同时,改善全球和局部的一致性。研究结果表明,FedTOGA在非凸函数下实现了更快的收敛,并在准确性和收敛速度上超越现有最先进算法。
FedMap是一种通过协作学习稀疏全局模型的新方法,提高了联邦学习系统的通信效率,适用于医疗和金融领域。FedMap通过迭代的振幅剪枝方法训练全局模型,减少通信开销,实现稳定的性能表现。在多样的设置、数据集、模型架构和超参数中进行了广泛评估,证明了在IID和非IID环境下的性能。相较于基线方法,FedMap能够达到更稳定的客户端模型性能,并在不降低准确性的情况下至少实现80%的剪枝。