本研究提出MMiC框架,旨在解决多模态联邦学习中的模态缺失问题。通过替换客户端模型参数和优化客户端选择,MMiC显著提升了缺失模态数据集的性能。
本研究提出了FedRecon,一种针对分布式异构环境中缺失模态重构和非独立同分布适应的多模态联邦学习方法。FedRecon通过轻量级的多模态变分自动编码器和新的分布映射机制,显著提高了模态重构性能。
本文提出了一种新的跨模态知识迁移方法,通过对比学习提升视频表示学习效果。实验结果显示,该方法在多个视频数据集上优于现有的知识蒸馏技术。同时,提出的多模态联邦学习框架有效解决了模态缺失和异质性问题,显著提高了推断准确性和性能。
多模态联邦学习研究提出多种方法:FedMFS利用Shapley值量化模态贡献,平衡性能与通信;CMSFed解决模态失衡;FedMultimodal提供鲁棒性评估基准;CreamFL支持异构模型与数据模态;MFCPL应对严重缺失模态;FedCMI缓解模态失衡与知识异质;FedMEKT结合半监督与知识迁移,降低通信成本。
该文综述多模态联邦学习进展,聚焦模态缺失与异质性问题,提出FedCMI、CMSFed、CreamFL、FedMFS、FedMEKT、TRML等框架,通过原型库、模态选择、知识迁移、Shapley值及虚拟模态生成等方法,缓解模态失衡,提升全局模型性能与通信效率。
CreamFL是一个支持多模态联邦学习的框架,使用异构模型结构和数据模态提高全局模型复杂度和数据容量。它使用公共数据集进行知识交流,并设计了全局本地交叉模态集成策略来聚合客户端表示。同时,它提出了模态间和模态内对比的策略来规范本地训练,测试结果表明比其他联邦学习方法更好。
完成下面两步后,将自动完成登录并继续当前操作。