基于期望最大化和 Turbo 深度近似消息传递的贝叶斯联合学习
内容提要
该文综述贝叶斯联邦学习研究，涵盖分层贝叶斯、变分推断、Laplace近似、多任务学习等个性化算法，通过建模客户端异构性提升全局模型性能，在多个数据集上验证了优越性，并探讨了未来发展方向。
延伸解读
贝叶斯联邦学习的研究脉络
文章梳理了2020年至2023年贝叶斯联邦学习的发展，从早期基于贝叶斯联合学习（BFL）和可扩展算法，到引入分层贝叶斯、变分推断、Laplace近似等个性化方法。这些工作共同关注客户端异构性，通过概率建模提升全局模型性能，并在多个数据集上验证了有效性。
个性化与通信效率的平衡
针对客户端数据异构，文章介绍了多任务学习、混合模型假设等个性化联邦学习算法，允许客户端训练个性化模型。同时，二进制神经网络等方法通过最大似然估计更新参数，在维持性能的同时显著降低通信开销，体现了效率与个性化的权衡。
隐私保护与系统集成
文章还涉及联邦学习与MIMO系统的集成，实现隐私保护的分布式机器学习。此外，FedEmb算法在垂直和混合DNN学习中提升了推理准确性并增强隐私保护，同时降低通信带宽需求，展示了贝叶斯方法在隐私和系统层面的应用潜力。
Q&A
贝叶斯联邦学习主要解决什么问题？
贝叶斯联邦学习旨在解决分布式基础设施、通信、计算和隐私保护等问题，同时通过建模客户端异构性提升全局模型性能。
有哪些基于贝叶斯方法的个性化联邦学习算法？
包括基于分层贝叶斯模型和变分推断的算法、使用Laplace近似的框架、多任务联邦学习算法、基于混合模型假设的联邦多任务学习方法、pFedBreD框架等。
pFedBreD框架有什么特点？
pFedBreD是一个基于贝叶斯学习方法的个性化联合学习框架，针对异构数据问题进行建模，并应用Bregman散度约束来解决该问题。实验表明，在高斯先验和均值选择的一阶策略下，它显著优于其他个性化联合学习算法。
FedEmb算法在垂直和混合DNN学习中有哪些优势？
FedEmb能提高推理准确性（提升0.3%至4.2%），增强隐私保护性质，降低客户端与服务器通信带宽需求，并减少88.9%的时间复杂度相对于垂直基线方法。
贝叶斯联邦学习如何提升全局模型性能？
通过引入全局模型作为潜在变量捕捉客户端间公共趋势，使用变分期望最大化训练模型，得出包含客户端参数不确定性和本地模型偏差的置信度评估，进而对客户端参数加权，优化全局模型的正则化效果。
贝叶斯联邦学习未来的发展方向是什么？
未来发展方向包括解决分布式基础设施、通信、计算和隐私保护等问题，以及进一步探索客户端、服务端和基于FL的BFL方法。
