协作方法：为了最大化跨边界联邦学习的泛化性能
内容提要
该文综述多种联邦学习方法，针对数据异构与负迁移问题，提出FedCollab按数据分布和数量聚类客户端以减轻负迁移，并介绍信息论泛化框架、客户端生成器、FCCL+相关性学习、协作均衡、FedCLG、原型框架、PerFed-CKT及FL+HC分层聚类等方法，均提升精度、收敛与通信效率。
延伸解读
FedCollab 如何缓解负迁移
FedCollab 根据客户端数据分布距离和数据数量进行聚类，将数据分布相近且数量相当的客户端归为一组。这样在聚合时，组内客户端的模型更新方向更为一致，减少了因数据异构导致的模型冲突，从而有效减轻负迁移问题。文章指出，该框架在各种联邦学习算法中始终优于其他聚类联邦学习算法。
信息论泛化框架与加权聚合
文章介绍了一种信息论泛化框架，用于解决联邦学习中的分布不一致问题。该框架通过引入加权聚合方法和客户端选择策略来增强泛化能力。这意味着在聚合全局模型时，不是简单平均，而是根据客户端的重要性或数据质量进行加权，并选择对泛化贡献大的客户端参与训练，从而提升模型在未知数据上的表现。
客户端生成器减少模型冲突
为了减少客户端之间的异质性，文章提出利用客户端专用生成器为每个客户端生成样本。这些生成样本用于训练，可以减少当前客户端模型与其他客户端模型之间的冲突，从而构建出具有良好泛化能力的全局模型。这种方法通过数据层面的增强，间接促进了模型间的一致性。
协作均衡与利益图
文章研究了一种理性协作范式，称为“协作均衡”。它使用“利益图”描述每个客户端与其他客户端合作的益处，并通过 Pareto 优化方法识别最佳合作者。通过迭代图操作，从利益图中达成协作均衡。在合成和真实数据集上的实验表明了该方法的有效性。这为联邦学习中的客户端合作选择提供了新思路。
Q&A
FedCollab 是如何减轻联邦学习中的负迁移问题的？
FedCollab 根据数据分布距离和数据数量对客户端进行聚类，从而减轻负迁移问题，并在各种联邦学习算法中始终优于其他聚类联邦学习算法。
有哪些方法可以解决联邦学习中的分布不一致问题？
一种信息论泛化框架被提出，通过引入加权聚合方法和客户端选择策略来增强泛化能力，以解决分布不一致问题。
如何利用客户端专用生成器提升联邦学习的泛化能力？
通过减少客户端之间的异质性，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。
FCCL+ 方法是如何处理模型异质性和灾难性遗忘的？
FCCL+ 通过非目标蒸馏，在异构参与方之间利用不相关的未标记公共数据进行通信，构建交叉相关矩阵并在逻辑和特征层面上对齐实例相似度分布，从而解决模型异质性和灾难性遗忘问题。
什么是协作均衡？如何找到最佳合作者？
协作均衡是一种理性协作范式，使用‘利益图’描述每个客户端与其他客户端合作的益处，并通过 Pareto 优化方法识别最佳合作者，通过迭代图操作从利益图中达成协作均衡。
PerFed-CKT 框架如何降低通信成本并保持高精度？
PerFed-CKT 是一种适用于高度数据和系统异构的个性化联邦学习框架，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本，并在测试中获得高精度。
