邻域与全球扰动支持的联邦学习中的SAM：从局部调整到全球意识
内容提要
本文介绍了多种联邦学习算法，如FedLin、FedAlign和FedSAM，旨在解决数据异质性和通信挑战。这些算法通过优化本地训练和全局模型，提高学习效率和泛化能力，适用于医疗和金融等隐私敏感领域。FedMap通过稀疏化全局模型，显著降低通信开销，同时保持高性能。
延伸解读
从FedSAM到FedSMOO：联邦学习优化器的演进
文章梳理了联邦学习优化器从FedSAM到FedSMOO的演进脉络。FedSAM将Sharpness Aware Minimization引入本地训练，以提升泛化能力；FedSMOO则进一步结合动态正则化和全局SAM优化器，同时考虑优化与泛化目标。这一演进表明，研究重点正从单纯的局部调整转向全局意识，以更系统地应对数据异质性。
通信效率的突破：FedMap的稀疏化策略
FedMap通过迭代振幅剪枝逐渐稀疏全局模型，显著降低通信开销，并避免参数重新激活问题。文章指出，FedMap在IID和非IID环境下均能保持稳定性能，且在不降低准确性的情况下至少实现80%的剪枝。这对于医疗和金融等隐私敏感且通信资源受限的领域具有实际应用价值。
隐私保护与鲁棒性的结合：DP-FedSAM
DP-FedSAM将梯度扰动与局部平坦模型相结合，旨在提高权重扰动鲁棒性并减少感知信息泄露。文章称其在差分隐私联邦学习中达到最先进性能。这提示读者，在隐私敏感场景中，平坦性优化不仅有助于泛化，也可能增强隐私保护，但需权衡扰动带来的性能影响。
Q&A
FedLin框架的主要功能是什么？
FedLin框架旨在应对分布式学习中的目标异质性、系统异质性和通信挑战，保证线性收敛并保持收敛速度。
FedAlign算法如何解决数据异构性问题？
FedAlign通过基于局部学习广泛性的方法，在不增加计算和内存开销的情况下，实现高精度的联邦学习。
FedSAM算法的核心优势是什么？
FedSAM算法基于Sharpness Aware Minimization优化器，显著提高了联邦学习中的泛化能力，解决了数据异构性问题。
DP-FedSAM算法如何提高鲁棒性？
DP-FedSAM算法通过梯度扰动和局部平坦模型来提高权重扰动的鲁棒性，减少信息泄露。
FedMap算法在通信效率方面有什么创新？
FedMap通过稀疏化全局模型，采用迭代的振幅剪枝方法，显著提高了通信效率，适用于医疗和金融领域。
FedSoL方法的主要特点是什么？
FedSoL结合全局对齐和局部普遍性，旨在抵御邻近扰动，同时保持最先进的性能。
