警惕：组装投影头以提高联邦模型的可靠性
内容提要
本文提出pFedHR框架，通过异构模型重组实现个性化联邦学习，将模型匹配作为优化任务，自动生成多样化模型，在三个数据集上优于基线。同时介绍了FedBABU、FedTSDP、FedProx和FedKA等算法，分别解决个性化下降、数据倾斜、异构收敛和类别遗忘问题，提升性能与效率。
延伸解读
个性化联邦学习的模型异质性挑战
联邦学习中，不同客户端的数据分布和计算资源往往存在差异，导致全局模型难以在所有客户端上表现良好。pFedHR框架将服务器端的异构模型个性化问题视为模型匹配优化任务，自动动态生成多样且信息量丰富的个性化模型，从而减轻使用不同分布公共数据对客户数据的不利影响。这一思路为应对模型异质性提供了新方向。
提升个性化性能的算法策略
针对个性化性能下降问题，FedBABU算法在联合训练中仅更新模型主体，评估时微调分类器头，以提升个性化效果。FedTSDP则采用两阶段解耦式聚类，根据推理输出和模型权重进行客户端聚类，并自适应调整个性化层。这些方法从不同角度优化了个性化联邦学习的性能与效率。
应对数据倾斜与类别遗忘
数据倾斜和类别遗忘是联邦学习中的常见问题。FedProx框架通过收敛保证和效果验证，提升了异构环境下的稳健收敛。FedKA算法则通过构建知识锚来校正梯度，保留缺失和非主导类别的知识，实现快速稳定收敛并显著提高准确性。这些工作为处理非IID数据提供了有效方案。
Q&A
pFedHR 框架是如何解决联邦学习中的模型异质性问题的？
pFedHR 在服务器端将异构模型个性化问题视为模型匹配优化任务，自动动态生成多样且信息量丰富的个性化模型，从而减轻使用不同分布公共数据对客户数据的不利影响。
FedBABU 算法的主要创新点是什么？
FedBABU 在联合训练中只更新模型的主体（特征提取器），而在评估时通过微调头（分类器）来优化个性化效果，从而解决网络头导致的个性化性能下降问题。
FedTSDP 算法如何应对数据倾斜问题？
FedTSDP 是一种两阶段解耦式联邦学习算法，根据推理输出和模型权重两次进行客户端聚类，采用修正的 Hopkins 采样确定聚类时机，并使用公共未标记数据的采样权重，同时根据数据倾斜程度自适应调整个性化层。
FedProx 框架解决了联邦学习中的什么问题？
FedProx 框架用于解决联邦学习网络中的异构性问题，并提供了实现更稳健收敛的收敛保证和效果验证。
FedKA 算法是如何防止类别遗忘的？
FedKA 在每个本地训练阶段前，通过提取缺失类别的共享样本和随机选择每个非主导类别的一个样本构建知识锚，然后利用知识锚校正每个小批量的梯度，以保留缺失和非主导类别的知识。
pFedHR 在实验中的表现如何？
实验结果显示，pFedHR 在三个数据集上，在 IID 和非 IID 设置下均优于基线方法。
