FedPIA: Permuting and Integrating Adapters Using Wasserstein Barycenters for Finetuning Foundation Models in Multi-Modal Federated Learning

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出FedPIA框架,旨在医疗等隐私环境中有效微调大型视觉-语言模型。通过适配器的置换和整合,优化联邦学习与参数高效微调的结合,显著提升模型在多模态任务中的表现,超越现有基准方法。

🎯

关键要点

  • 本研究提出FedPIA框架,旨在医疗等隐私环境中有效微调大型视觉-语言模型。

  • FedPIA通过适配器的置换和整合,优化联邦学习与参数高效微调的结合。

  • 该框架显著提升了模型在多模态任务中的表现,超越现有的PEFT-FL基准方法。

  • 在多样化客户端设置下,FedPIA的实验结果显示出优越性。

➡️

继续阅读