FLex&Chill: 通过 Logit 冷却提高本地联合学习训练
内容提要
该文汇总多项联邦学习研究，聚焦数据异构（非独立同分布、标签偏斜）引发的客户端漂移与泛化问题。所提方法包括：FedBalance以私有弱学习器集成纠正本地优化偏差；FedAlign用局部学习广泛性替代接近约束；FedCSD通过类原型相似度蒸馏缓解漂移与遗忘；FML支持个性化与通用模型协同设计；FedLC处理标签分布偏斜；FedHist以历史梯度加权融合应对异步滞后；FedCollab按数据分布距离与数量聚类客户端以减轻负迁移。
延伸解读
数据异构下的客户端漂移与泛化挑战
文章指出，联邦学习在非独立同分布（Non-IID）和标签偏斜的数据上，客户端本地训练容易产生漂移，导致全局模型泛化能力下降。多个研究分别从优化偏差、约束替代、知识蒸馏等角度应对这一问题，反映出该领域对数据异构性的持续关注。
方法多样性与适用场景差异
文中汇总的方法各有侧重：FedBalance通过私有弱学习器集成纠正本地优化偏差；FedAlign用局部学习广泛性替代接近约束；FedCSD利用类原型相似度蒸馏缓解漂移与遗忘；FedLC专门处理标签分布偏斜。这些差异提示读者需根据具体异构类型选择合适方案。
个性化与通用模型的协同设计
FML允许客户端在共同设计通用模型的同时独立设计个性化模型，以应对多种异质性。这体现了联邦学习从单一全局模型向个性化与通用模型协同的转变，但文章未提供具体性能对比，读者需结合自身场景评估其适用性。
异步与聚类策略的补充价值
FedHist通过加权融合历史全局梯度应对异步滞后，FedCollab则按数据分布距离和数量聚类客户端以减轻负迁移。这两类方法分别针对异步通信和客户端分组问题，补充了同步场景下方法未覆盖的维度，但文章未讨论其计算开销或部署复杂度。
Q&A
联邦学习中数据异构（非独立同分布）会导致什么问题？
数据异构会导致客户端漂移和泛化问题，具体表现为本地模型优化偏差、标签分布偏斜、灾难性遗忘以及负迁移等。
FedBalance 是如何纠正本地模型优化偏差的？
FedBalance 在客户端引入额外的私有弱学习器，与本地模型组成集成模型，通过融合两个模型的对数几率来纠正优化偏差，提高少数类别的分类错误处罚并降低多数类别的注意力，从而得到更好的全局模型。
FedAlign 与传统联邦学习方法在约束方式上有什么不同？
FedAlign 基于局部学习广泛性而非接近约束来解决数据异构性问题，它不强制本地模型接近全局模型，而是利用局部学习的广泛性，在不引入大量计算和内存开销的情况下达到与最先进 FL 方法相当的精度。
FedCSD 如何同时解决客户端漂移和灾难性遗忘？
FedCSD 通过引入类原型相似度蒸馏算法，利用类原型之间的相似性进行知识蒸馏，从而缓解客户端漂移和灾难性遗忘问题，实验证明它在各种异构环境下优于现有联邦学习方法。
FedHist 如何处理异步联邦学习中的梯度滞后问题？
FedHist 通过对服务器上缓存的历史全局梯度进行加权融合来处理梯度滞后，并引入智能的 l2 范数放大方案来提高训练效率和稳定性，实验证明其在收敛性能和测试准确率上优于现有方法。
FedCollab 如何减轻联邦学习中的负迁移问题？
FedCollab 基于数据分布距离和数据数量对客户端进行聚类，将相似数据分布的客户端聚在一起，从而有效减轻负迁移问题，并在各种 FL 算法中始终优于其他聚类 FL 算法。
