FedSI: 面向高效不确定性量化的联邦子网络推断
内容提要
本文介绍了贝叶斯个性化联邦学习（BPFL），分析了不同聚合策略对模型性能的影响，并构建了关键超参数。新方法pFedBayes在个性化模型上表现优异，尤其在非独立同分布数据集上，相较于其他算法有显著提升。此外，研究探讨了贝叶斯联合学习算法及其在异构网络中的应用，展示了其处理客户数据异质性的优势。
延伸解读
贝叶斯联邦学习如何应对数据异质性
文章指出，贝叶斯个性化联邦学习（BPFL）通过量化客户内部及客户间的不确定性和异质性，将神经表示分解为共享和本地组件，并联合学习共享与个性化的不确定性表示。这为处理非独立同分布数据提供了统计框架，使模型能更好地适应每个客户的数据分布，同时保持全局知识的共享。
聚合策略与超参数的关键影响
通过分析六种不同的聚合策略，研究使用IID和非IID的CIFAR-10数据集以及完全变种ResNet-20结构，构建了影响联邦学习系统性能的关键超参数。这些超参数直接影响准确性、校准性、不确定性量化、训练稳定性和客户端计算要求，为实际部署中的参数调优提供了参考。
pFedBayes的性能优势与理论保障
pFedBayes采用贝叶斯变分推理，通过引入权重不确定性来减轻过拟合，并在满足客户端全局分布KL散度的同时平衡私有数据的构造误差。理论分析给出了平均泛化误差的上界和收敛速度。实验表明，在非独立同分布数据下，pFedBayes在MNIST、FMNIST和CIFAR-10上分别比SOTA算法提升了1.25%、0.42%和11.71%。
其他贝叶斯联邦学习方法的探索
文章还提及了多种相关方法：基于贝叶斯的联合学习算法（BFL）及其改进版Scalable-BFL通过优化均方误差聚合异构离散梯度，在MNIST上优于随机梯度下降；FedIns通过实例自适应推理减少内部客户和跨客户异质性，在Tiny-ImageNet上性能提升超过6.64%且通信成本不到15%；此外还有贝叶斯非参数框架、FedMN和FedSelect等，这些工作从不同角度推进了联邦学习对异构数据的处理能力。
Q&A
什么是贝叶斯个性化联邦学习（BPFL）？
贝叶斯个性化联邦学习（BPFL）通过统计上异质的客户数据来量化客户内部及客户间的不确定性和异质性，并将隐藏的神经表示分解成共享和本地组件。
pFedBayes方法的优势是什么？
pFedBayes在个性化模型上表现优异，尤其在非独立同分布数据集上，相较于其他算法有显著提升。
文章中提到的聚合策略对模型性能有什么影响？
通过分析六种不同的聚合策略，构建了影响模型性能的关键超参数，影响准确性、校准性、不确定性量化等方面。
pFedBayes在不同数据集上的表现如何？
在MNIST、FMNIST和CIFAR-10数据集上，pFedBayes相较于其他算法分别提高了1.25%、0.42%和11.71%。
贝叶斯联合学习算法的应用场景是什么？
贝叶斯联合学习算法在异构网络中应用，展示了其处理客户数据异质性的优势。
如何减轻模型过拟合的问题？
pFedBayes通过引入权重不确定性来减轻模型过拟合的问题，同时更新本地分布参数以平衡私有数据的构造误差。
