FedBRB：设备异构联邦学习中小到大场景的有效解决方案
内容提要
本文综述多种联邦学习改进算法：FOLB通过智能抽样加速收敛并应对设备异构；FedBE用贝叶斯推理聚合局部模型，适应非独立同分布数据；SphereFed以超球面限制提升准确率与效率；Fed-ET用集成知识蒸馏增强泛化；FedAgg实现端边云协同，准确率平均提升4.53%。
延伸解读
设备异构性下的联邦学习优化方向
文章指出，设备异构性（通信和计算能力差异）是联邦学习面临的主要挑战之一。FOLB通过智能抽样优化训练速度，动态正则化器则限制设备异构性影响，两者均旨在提升收敛效率和稳定性。这些方法表明，针对设备异构性的优化需要兼顾抽样策略与正则化约束，而非单一技术。
非独立同分布数据的聚合策略对比
针对非独立同分布数据，文章介绍了多种聚合策略：FedBE采用贝叶斯推理聚合局部模型，SphereFed通过超球面限制表示空间，Clustered FedStack结合聚类机制。这些方法从不同角度提升模型在数据异构下的表现，例如SphereFed在挑战性数据集上准确率提升超6%，而FedBE兼容正则化训练，易于集成。
知识蒸馏与端边云协同的实践效果
Fed-ET利用集成知识蒸馏和加权一致性蒸馏，从高度异构数据中提取共识，改善泛化能力，且在通信参数较少时优于现有算法。FedAgg则实现终端-边缘-云协同，通过桥样本在线蒸馏协议递归组织计算节点，实验显示准确率平均提升4.53%，收敛速度显著改进。两者均展示了知识传递在提升联邦学习性能上的潜力。
Q&A
FedBRB 是什么？它主要解决联邦学习中的什么问题？
FedBRB 是一种针对设备异构联邦学习中小到大场景的有效解决方案。它旨在解决设备异构性带来的挑战，提升联邦学习在异构设备环境下的性能。
FOLB 算法如何应对联邦学习中的设备异构性？
FOLB 通过智能抽样优化模型训练速度，处理设备的通信和计算异质性，从而改善训练模型的准确率、收敛速度和稳定性。
FedBE 在非独立同分布数据下有什么优势？
FedBE 是一种基于贝叶斯推理的聚合算法，将局部模型聚合成全局模型，在非独立同分布数据和深度神经网络方面表现更强，且与正则化用户模型训练研究兼容，可轻松应用于联邦学习算法的聚合模块。
SphereFed 如何提高联邦学习的准确性和效率？
SphereFed 通过将数据点的表示限制到由客户端共享的单位超球面上，并构建固定分类器来处理不同客户端间数据类别的差异性，在最小化损失函数过程中进行联邦学习，最终实现分类器校准。实验证明其能有效提高准确性（在挑战性数据集上达到 6% 以上），并增强计算和通信效率。
Fed-ET 方法在哪些任务中表现出色？
Fed-ET 是一种新的合奏知识转移方法，采用加权一致性蒸馏方案，在图像和语言任务中显示出在通信参数较少的情况下明显优于其他最先进的联邦学习算法，并且对于高数据异构性也是强健的。
FedAgg 框架相比现有方法有哪些改进？
FedAgg 是一种基于 EECC 的联邦学习框架，实现了终端-边缘-云协同的设备级扩展，通过 Bridge Sample Based Online Distillation Protocol 递归组织计算节点，实现知识传递和提取。实验证明，相比最先进的方法，FedAgg 在准确率上平均提高了 4.53%，并在收敛速度上有显著改进。
