FedLPS: 多任务异质联邦学习与本地参数共享
内容提要
该文综述了多种联邦学习方法，旨在解决数据与模型异构、通信和计算效率问题，包括pFedES、DFL、FedH2L、FedGSP、FedAlign、PSL、HeteroFL和FedLoRA等，通过特征共享、分散训练、动态分组和适配器调优提升模型精度并降低成本。
延伸解读
方法概览：从特征共享到适配器调优
文章梳理了多种联邦学习方法，核心思路可分为三类：一是通过共享特征提取器（如pFedES）或相互蒸馏（如FedH2L）实现知识交换；二是采用分散式训练（如DFL）或动态分组（如FedGSP）应对数据异构；三是利用子网络分配（如HeteroFL）或轻量适配器（如FedLoRA）降低计算通信开销。这些方法从不同角度解决联邦学习中的异构性与效率问题。
效率提升：通信与计算成本的显著降低
多个方法在实验中展示了效率优势。pFedES相比最佳基准，通信和计算成本分别降低99.6%和82.9%；FedGSP将训练时间和通信成本降低90%以上；FedLoRA的计算开销减少11.81倍，通信成本降低7.41倍。这些数据表明，通过特征共享、动态分组或适配器设计，可以在保持精度的同时大幅减少资源消耗。
精度改进：小幅但稳定的提升
在测试准确性上，pFedES比最佳基准提高1.61%，FedLoRA提高1.35%，FedGSP平均提高3.7%。虽然提升幅度不大，但在联邦学习场景中，面对数据与模型异构的挑战，这些改进具有实际意义，且往往伴随着效率的优化，体现了精度与效率的平衡。
适用场景与局限
这些方法针对不同异构场景：pFedES和FedLoRA侧重模型异构，DFL适用于无中心控制器的边缘环境，FedGSP处理数据分布异构，HeteroFL应对设备能力差异。然而，文章未讨论这些方法在更大规模或更复杂场景下的泛化能力，实际部署时需考虑具体约束。
Q&A
pFedES 是如何实现异构个性化联邦学习的？
pFedES 在不同客户端的本地模型中引入小型同质特征提取器，通过迭代学习方法进行训练，实现全局泛化知识和本地个性化知识的交换和共享。
FedGSP 如何解决联邦学习中的数据异构问题？
FedGSP 使用动态序列-并行协作训练的新概念，通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度，并通过 Inter-Cluster Grouping (ICG) 算法辅助分配，该算法利用重心等价定理简化 NP 难问题。
FedLoRA 在计算和通信效率方面有哪些优势？
FedLoRA 为每个联邦学习客户端设计了一个同质化小适配器，使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。实验表明，它在测试准确性方面比六种最先进的基准方法表现更好，准确性提高了 1.35%，计算开销减少了 11.81 倍，通信成本降低了 7.41 倍。
HeteroFL 框架主要解决什么问题？
HeteroFL 旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练，通过自适应分配子网络来提高 FL 训练的计算和通信效率。
DFL 算法在什么场景下提出？其效果如何？
DFL 算法在高度普及的边缘场景中提出，该场景缺乏中央控制器和预定的设备连接，导致复杂的网络结构。DFL 是一种通信高效的分散式联邦学习算法，用于解决由数据和不同训练历史引起的异构学习难题。研究结果表明，与竞争方法相比，DFL 能够训练出更好的本地模型并且在通信效率上更为优越。
FedAlign 方法有什么特点？
FedAlign 是一种基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。
