FedMoE：通过异构专家混合实现个性化联邦学习
内容提要
本文介绍了多种个性化联邦学习方法，包括通过相关客户联合训练模型、使用混合剪枝实现个性化以及FedSIM方法以提高个性化性能。这些方法在不同场景下表现优异，支持低通信和计算成本的联邦学习，解决了数据隐私和模型性能问题。
延伸解读
个性化联邦学习的技术演进
文章梳理了从2020年到2024年个性化联邦学习的发展脉络，早期方法侧重于通过相关客户联合训练或混合剪枝实现个性化，随后FedSIM利用服务器数据提升元梯度计算效率，FedMS和FedMoE则引入混合专家模型应对模型异构性。这一演进显示研究重点从数据异构转向模型异构，并越来越关注通信与计算成本。
混合专家模型在个性化联邦学习中的角色
文章提到FedMS和FedMoE均采用混合专家（MoE）架构。FedMS使用全局专家和本地专家构建混合基准模型，并通过门控网络聚合；FedMoE则在本地训练中结合全局和本地特征，以提升个性化能力。这表明MoE能有效平衡全局知识与本地个性化，尤其适合非独立同分布数据场景。
性能提升与效率优化并重
文章列举了多个方法的量化效果：FedSIM收敛速度提升34.2%，FedMS性能提升55.25%，专家混合方法在病理性非IID环境下精度优势达4.38%。同时，FS-LLM软件包和资源高效微调方法强调低通信与计算成本。可见，个性化联邦学习不仅追求精度，也注重实际部署中的效率约束。
Q&A
FedMoE算法的主要优势是什么？
FedMoE算法通过结合全局和本地特征，提高模型的个性化能力，解决数据和模型隐私、模型性能、通信和计算成本问题。
个性化联邦学习如何处理非IID数据？
个性化联邦学习使用专家混合模型来学习相似的客户，即使在病理性非IID环境中也能获得高达4.38%的精度优势。
FedSIM方法的主要贡献是什么？
FedSIM方法通过利用服务器数据提高meta-gradient计算，增加个性化性能，计算效率更高，收敛速度提升34.2%。
FS-LLM软件包的功能是什么？
FS-LLM软件包提供了全面的联邦参数高效微调算法实现，支持低通信和计算成本的联邦学习场景。
FedMS算法是如何提升性能的？
FedMS算法使用全局专家和本地专家构建混合基准模型，实验证明其性能提升达到55.25%。
DPFL框架的创新点是什么？
DPFL框架通过引入随机梯度推送和部分模型个性化，实现线性分类器的个性化，达到了更好的收敛速度。
