个性化联邦学习中的所需学习内容
内容提要
该文综述个性化联邦学习方法，旨在平衡个性化与全局训练并应对数据异构，涵盖去中心化在线学习、超网络pFedHN、FedPer基础加个性化层、元网络个性化策略、联邦重构、新客户端无监督自适应FedTTA、按相关客户联合训练、贝叶斯框架pFedBreD及FedSplit/FedFac等，多数方法在基准数据集上优于现有方法。
延伸解读
个性化联邦学习的核心矛盾：全局共享与本地适应
文章综述的多种方法都围绕一个核心矛盾展开：如何在利用全局数据提升模型泛化能力的同时，让模型适应每个客户端的本地数据分布。FedPer通过基础层共享、个性化层独立来平衡两者；pFedHN用超网络生成个性化参数；联邦重构则先学习共享表示再重建本地模型。这些方案表明，个性化并非完全抛弃全局模型，而是有选择地共享和保留。
应对数据异构性的不同技术路线
针对数据异构性，文章中的方法采取了不同策略。元学习框架通过元网络为每个客户端生成定制化策略，适用于标签偏移和特征偏移；pFedBreD用贝叶斯建模和Bregman散度约束处理异构数据；FedSplit/FedFac则将隐藏元素拆分为共享和个性化两组，并用因子分析解耦。这些路线反映了对异构性来源的不同假设，读者可根据实际数据特点选择参考。
新客户端与设备异构：部署阶段的现实挑战
文章特别关注模型部署后的实际问题。FedTTA针对未标记新客户端的个性化，将自适应风险最小化扩展到无监督场景，并设计知识蒸馏损失应对设备异构性。另一项工作让客户端只与相关客户联合训练，无需先验知识即可实现自定义目标分布的最优加权组合。这些方法提示，个性化联邦学习不仅要解决训练时的数据异构，还要考虑新客户端加入和设备差异带来的推断挑战。
Q&A
个性化联邦学习主要解决什么问题？
个性化联邦学习旨在平衡个性化与全局训练，并应对数据异构性问题，使每个客户端能获得适合自身数据分布的个性化模型。
pFedHN 方法是如何实现个性化的？
pFedHN 是一种基于超网络的个性化联邦学习方法，通过超网络协同训练多个客户端的个性化模型，在考虑数据分布差异和减少通信成本的同时实现有效的参数共享。
FedPer 的网络结构有什么特点？
FedPer 采用基本层加个性化层的联邦深度前馈神经网络结构，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。
当有新客户端加入时，FedTTA 如何为其提供个性化模型？
FedTTA 将自适应风险最小化技术扩展到无监督个性化联邦学习设置中，通过代理正则化和熵提前停止调整进行改进，并设计专门的知识蒸馏损失以解决设备异构性问题。
pFedBreD 框架采用了什么方法来处理异构数据？
pFedBreD 是一个基于贝叶斯学习方法的个性化联邦学习框架，针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。
FedSplit 和 FedFac 是如何应对数据异构性的？
FedSplit 通过将隐藏元素拆分为共享组和个性化组，并用新的目标函数优化来应对数据异构性；FedFac 引入因子分析来解耦隐藏元素，从而在实际数据集上展现出优于其他先进联邦学习方法的预测性能。
