FedMoE：通过异构专家混合实现个性化联邦学习

提出了一种个性化的联邦学习方法，通过相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合。

使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化。

FedSIM方法通过利用服务器数据提高meta-gradient计算，增加个性化性能，计算效率更高，收敛速度提升34.2%。

针对非IID数据的个性化联邦学习方法使用专家混合模型，即使在病理性非IID环境中也能获得高达4.38%的精度优势。

FS-LLM软件包提供了全面的联邦参数高效微调算法实现，支持低通信和计算成本的联邦学习场景。

FedMS算法使用全局专家和本地专家构建混合基准模型，实验证明其性能提升达到55.25%。

FedMoE算法通过结合全局和本地特征，提高模型的个性化能力，解决数据和模型隐私、模型性能、通信和计算成本问题。

DPFL框架通过引入随机梯度推送和部分模型个性化，实现线性分类器的个性化，达到了更好的收敛速度。

提出了一种资源高效的大型语言模型细调方法，通过引入压缩模型和适配器的概念，实现与全模型可比的性能水平。