个性化联邦学习的概率模型：一种 PAC-Bayesian 方法
内容提要
该文综述多种贝叶斯个性化联邦学习方法：pFedBreD用Bregman散度约束建模异构数据；pFedGP用高斯过程与深层核学习共享核；BPFL量化客户内外不确定性；DFedAlt采用分散部分模型训练；PFA利用稀疏表示分组客户端；FedPop将个性化学习视为种群建模；分层贝叶斯变分推断捕捉公共趋势；pFedBayes以权重不确定性缓解过拟合；另有注入个性化先验及DyPFL考虑训练意愿差异的方法。
延伸解读
贝叶斯方法如何应对数据异构
文章综述的多种方法均以贝叶斯思想为核心应对客户端数据异构。pFedBreD用Bregman散度约束建模异构数据；BPFL将隐藏表示分解为共享与本地组件，量化客户内与客户间不确定性；pFedBayes引入权重不确定性以缓解过拟合。这些方法共同表明，贝叶斯框架能通过概率建模和不确定性量化，更细致地处理非独立同分布数据带来的挑战。
个性化与共享的平衡策略
多个方法探索了共享与个性化的不同平衡方式。pFedGP学习跨客户的共享核函数并保留个性化高斯过程分类器；DFedAlt采用分散部分模型训练，依次更新共享和个性化参数；分层贝叶斯变分推断以全局模型为潜在变量捕捉公共趋势，并对客户端参数加权。这些策略显示，个性化联邦学习并非简单本地微调，而是通过结构设计实现知识共享与本地适应的协同。
不确定性量化的实用价值
BPFL和FedPop等方法强调不确定性量化。BPFL量化客户内部及客户间的不确定性和异质性；FedPop通过马尔可夫链蒙特卡洛提供不确定性量化，满足新客户和小样本数据的实时学习需求。这表明，在联邦学习中引入概率模型不仅能提升预测可靠性，还能为模型决策提供置信度评估，对实际部署中的风险控制具有参考意义。
实验表现与适用条件
文章提及的实验结果提供了方法有效性的证据。pFedBreD在高斯先验和均值选择的一阶策略下显著优于其他算法；pFedBayes在非独立同分布有限数据下，于MNIST、FMNIST和CIFAR-10上分别比SOTA算法提升1.25%、0.42%和11.71%。这些结果说明贝叶斯个性化方法在特定设置下具有优势，但读者需注意其性能依赖于先验选择、数据分布等条件。
Q&A
pFedBreD 是怎么处理联邦学习中的异构数据问题的？
pFedBreD 是一个基于贝叶斯学习的个性化联邦学习框架，它针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验表明，在高斯先验和均值选择的一阶策略下，pFedBreD 显著优于其他个性化联邦学习算法。
pFedGP 如何解决低数据环境下跨客户学习的问题？
pFedGP 基于高斯过程和深层核学习，通过学习跨客户的共享核函数以及个性化的 GP 分类器，来解决在低数据环境下学习跨客户有效性的挑战。在多个基准测试中实现了高度准确的状态，并在可靠性方面显著优于基准方法。
BPFL 方法中的不确定性量化具体指什么？
BPFL（贝叶斯个性化联邦学习）通过统计上异质的客户数据来量化客户内部及客户间的不确定性和异质性，并将隐藏的神经表示分解成共享和本地组件，联合学习共享和个性化的不确定性表示。
DFedAlt 框架在通信成本和模型一致性方面有什么改进？
DFedAlt 采用分散的部分模型训练方法，通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM 优化器来更新共享参数，从而有效解决了模型共享一致性不足和通信成本过高的问题，取得了与最先进基准模型相媲美或更好的状态。
FedPop 如何将个性化联邦学习视为种群建模？
FedPop 将个性化联邦学习重新定义为种群建模范式，利用群体参数和随机效应解释数据异质性，并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化，从而满足新客户、小观测样本数据的实时学习需求。
pFedBayes 在缓解过拟合方面有什么理论保证和实验效果？
pFedBayes 采用贝叶斯变分推理，通过引入权重不确定性来减轻模型过拟合的问题，在满足客户端全局分布的 KL 散度的同时，通过平衡私有数据的构造误差来更新本地分布参数。理论分析说明了平均泛化误差的上界和收敛速度，实验表明在非 i.i.d. 有限数据下，pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法提高了 1.25%、0.42% 和 11.71%。
