FedPIA: Permuting and Integrating Adapters Using Wasserstein Barycenters for Finetuning Foundation Models in Multi-Modal Federated Learning
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出FedPIA框架,旨在医疗等隐私环境中有效微调大型视觉-语言模型。通过适配器的置换和整合,优化联邦学习与参数高效微调的结合,显著提升模型在多模态任务中的表现,超越现有基准方法。
🎯
关键要点
-
本研究提出FedPIA框架,旨在医疗等隐私环境中有效微调大型视觉-语言模型。
-
FedPIA通过适配器的置换和整合,优化联邦学习与参数高效微调的结合。
-
该框架显著提升了模型在多模态任务中的表现,超越现有的PEFT-FL基准方法。
-
在多样化客户端设置下,FedPIA的实验结果显示出优越性。
➡️