通信高效的联邦学习：一种基于事件触发的 SAGA 方法
内容提要
该文综述分布式联邦学习进展，涵盖分散式调度策略、异步事件触发共识聚合、混合联邦与集中学习框架、编码联邦学习、聚类联邦多任务学习、个性化联邦学习及StoCFL、FedCLG等新算法，旨在提升收敛速度、通信效率、模型准确性与隐私保护。
延伸解读
从集中式到分散式：联邦学习架构的演进
文章梳理了联邦学习从依赖中央服务器的传统模式向分散式架构发展的趋势。分散式联邦学习通过客户端间直接通信省略中心服务器，旨在降低通信开销并提升隐私保护。同时，混合联邦与集中学习框架被提出，以应对客户端计算资源不足的场景，在通信效率和准确率之间寻求平衡。这些架构变化反映了联邦学习在可扩展性和适应性上的持续探索。
通信效率与收敛速度的权衡策略
针对联邦学习中的通信瓶颈，文章介绍了多种优化方法。基于事件触发的异步共识聚合通过动态调整通信阈值，在减少通信次数的同时追求聚合收益最大化；编码联邦学习则利用预计算冗余梯度，在异构计算平台上加速全局模型收敛。这些策略表明，通信效率的提升往往需要结合具体场景在收敛速度和资源消耗之间做出权衡。
应对数据异质性的算法创新
联邦学习中客户端数据分布不同（非独立同分布）是影响模型性能的关键挑战。文章提及的聚类联邦多任务学习框架和StoCFL算法，通过聚类或个性化设计来适应这种异质性。StoCFL支持不同比例的客户端参与和新客户端加入，在保持模型性能的同时获得良好聚类结果。这些方法为实际部署中处理数据分布差异提供了可行思路。
个性化与隐私保护的平衡
个性化联邦学习系统CFL通过为每个客户定制全局模型，在多个维度上解决异质性问题，实验显示其在非异构和异构环境中分别提升模型准确性达7.2%和21.8%。同时，FedCLG算法在混合联邦场景下防止部分参与限制，兼顾隐私保护与模型聚合。这些进展说明，在提升个性化效果的同时，隐私保护仍是算法设计的重要考量。
Q&A
什么是分散式联邦学习（DFL）？它和传统联邦学习有什么区别？
分散式联邦学习（DFL）是一种分布式机器学习模式，其中许多客户端与中央服务器协同工作，无需共享训练数据。与传统联邦学习不同，DFL采用去中心化网络结构，客户端之间直接通信，省略中心服务器，从而降低通信开销并提高学习效率和隐私保护。
事件触发的SAGA方法在联邦学习中是如何工作的？
事件触发的SAGA方法采用异步、事件触发的共识迭代实现模型的分布式聚合。通过异构通讯事件阈值权衡本地模型参数的变化，达到每次迭代的聚合收益最大化。理论分析表明，该方法在标准假设下实现全局最优学习模型的渐近收敛，且不需要对底层拓扑连接性有任何限制。
联邦学习中有哪些提高通信效率的方法？
文章提到了多种提高通信效率的方法：1）分散式联邦学习（DFL）通过去中心化网络降低通信开销；2）事件触发的SAGA方法通过异步共识迭代大幅改进通信要求；3）编码联邦学习通过预计算冗余梯度加速收敛达四倍以上；4）混合联邦和集中式学习（HFCL）框架在计算资源不足时使用集中式学习，减少通信开销。
混合联邦和集中式学习（HFCL）框架有什么优势？
HFCL框架采用先进的数据传输方法，并在计算资源不足时使用集中式学习方法，以有效训练学习模型。它可以在所有客户端合作的同时提高学习准确度，并在减少通信开销和提高学习准确率方面具有更好的性能表现。
聚类联邦学习如何解决非独立同分布数据问题？
聚类联邦学习（如StoCFL）通过灵活的CFL框架，支持不同比例的客户端参与和新客户端加入，在保持模型性能的同时获得良好的聚类结果。它能在保持数据隐私性的同时，更好地解决联邦学习中本地数据分布不同的问题，并在深度卷积和循环神经网络上验证了有效性。
个性化联邦学习（CFL）系统如何提升模型准确性？
个性化联邦学习（CFL）系统通过特殊设计的全局模型为每个客户定制个性化模型，采用在线训练的模型搜索辅助器和新型聚合算法，解决FL在多个维度上的异质性问题。实验证明，CFL在FL训练和边缘推断方面具有全栈优势，显著改进了模型准确性（在非异构环境中高达7.2%，在异构环境中高达21.8%）、效率和公平性。
