FediOS: 在特征不平衡联邦学习中解耦正交子空间实现个性化
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文介绍了个性化联邦学习(pFL)中的一种有效方法FediOS,通过重新设计特征偏斜pFL的架构解耦设计,将模型分为通用和个性化特征提取器以及共享预测头。实验证明该方法在特征偏斜异质性下达到了最先进的pFL性能。
🎯
关键要点
-
个性化联邦学习(pFL)通过协同训练多个客户端增强定制本地模型的能力。
-
提出了一种名为 FediOS 的有效 pFL 方法。
-
FediOS 通过重新设计特征偏斜 pFL 的架构解耦设计,将模型分为通用和个性化特征提取器以及共享预测头。
-
通用特征通过正交投影映射到公共子空间,个性化特征分散到不同子空间以实现解耦。
-
在推理过程中,训练共享预测头以平衡通用特征和个性化特征的重要性。
-
在四个视觉数据集上的广泛实验证明该方法在特征偏斜异质性下达到了最先进的 pFL 性能。
➡️