BriefGPT - AI 论文速递
·
大型模型时代下的领域特定多模态联邦学习
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
CreamFL是一个支持多模态联邦学习的框架，使用异构模型结构和数据模态提高全局模型复杂度和数据容量。它使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示。同时，它提出了模态间和模态内对比的策略来规范本地训练，测试结果表明比其他联邦学习方法更好。
🎯
关键要点
- CreamFL是一个支持多模态联邦学习的框架。
- 使用异构模型结构和数据模态提高全局模型复杂度和数据容量。
- 利用公共数据集进行知识交流。
- 设计了全局本地交叉模态集成策略来聚合客户端表示。
- 提出模态间和模态内对比的策略来规范本地训练。
- 在图像-文本检索和视觉问答任务上的测试结果优于其他联邦学习方法。
➡️
