FedMS: 带有稀疏激活基模型的联邦学习
原文中文,约500字,阅读约需2分钟。发表于: 。提出了一种名为 FedMS 的新型两阶段联邦学习算法,使用全局专家和本地专家构建混合基准模型(MoFM),设计了一个门控神经网络插入门适配器来在第二阶段的每一轮通信中进行聚合,并使用一种新型 SAL 算法来适应具有有限计算资源的边缘计算场景,实验证明 FedMS 在默认设置下超过其他 SOTA 基准模型的性能达到 55.25% 的提升。
研究人员提出了FedDAT,一种用于异构多模态联邦学习的调优框架。该方法利用Dual-Adapter Teacher(DAT)处理数据异质性,并通过知识蒸馏实现高效的知识传递。实验证明,FedDAT在多个多模态联邦学习基准上优于现有方法。