大型模型时代下的领域特定多模态联邦学习
原文中文，约200字，阅读约需1分钟。发表于：。多模态联邦学习框架用于实现跨场景的智能服务，利用多个企业的私有领域数据共同训练大型模型，解决多模态大模型在特定工业领域表现不佳的问题，进一步推动人工智能和多模态联邦学习的大规模工业应用和前沿研究。
CreamFL是一个支持多模态联邦学习的框架，使用异构模型结构和数据模态提高全局模型复杂度和数据容量。它使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示。同时，它提出了模态间和模态内对比的策略来规范本地训练，测试结果表明比其他联邦学习方法更好。
