邻域与全球扰动支持的联邦学习中的SAM:从局部调整到全球意识
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
FedMap是一种通过协作学习稀疏全局模型的新方法,提高了联邦学习系统的通信效率,适用于医疗和金融领域。FedMap通过迭代的振幅剪枝方法训练全局模型,减少通信开销,实现稳定的性能表现。在多样的设置、数据集、模型架构和超参数中进行了广泛评估,证明了在IID和非IID环境下的性能。相较于基线方法,FedMap能够达到更稳定的客户端模型性能,并在不降低准确性的情况下至少实现80%的剪枝。
🎯
关键要点
- FedMap是一种通过协作学习稀疏全局模型的新方法。
- FedMap提高了联邦学习系统的通信效率,适用于医疗和金融领域。
- 采用迭代的振幅剪枝方法训练全局模型,减少通信开销。
- 避免了参数重新激活问题,实现了稳定的性能表现。
- 在多样的设置、数据集、模型架构和超参数中进行了广泛评估。
- 证明了在IID和非IID环境下的性能。
- 相较于基线方法,FedMap能够达到更稳定的客户端模型性能。
- 在不降低准确性的情况下,至少实现80%的剪枝。
➡️