本研究提出MMiC框架,旨在解决多模态联邦学习中的模态缺失问题。通过替换客户端模型参数和优化客户端选择,MMiC显著提升了缺失模态数据集的性能。
本研究提出了FedRecon,一种针对分布式异构环境中缺失模态重构和非独立同分布适应的多模态联邦学习方法。FedRecon通过轻量级的多模态变分自动编码器和新的分布映射机制,显著提高了模态重构性能。
该文章介绍了CMSFed,一种解决多模态联邦学习中模态失衡问题的客户端模态选择方案。通过选择性地使用不同模态的本地数据参与训练和聚合,减轻全局模型的模态失衡,并引入新的局部训练损失函数来增强弱模态并调整特征空间差异。该方案还设计了模态级梯度解耦方法来维持选择过程中的梯度差异,并根据每次迭代中的本地模态失衡平衡多模态联邦学习。实验证明了CMSFed在多模态数据利用中的有效性。
本文提出了一种名为“Multimodal Federated Cross Prototype Learning (MFCPL)”的新方法,通过交叉模态对齐来增强特定模态特征的整体性能,解决了多模态联邦学习中存在的严重缺失模态的问题。经过实验证明,MFCPL在减轻挑战和提高整体性能方面表现出优异效果。
CreamFL是一个支持多模态联邦学习的框架,提高了全局模型的复杂度和数据容量。它使用公共数据集进行知识交流,并通过全局本地交叉模态集成策略来聚合客户端表示。在图像-文本检索和视觉问答任务上的测试结果表明,CreamFL比目前流行的联邦学习方法更好。
该研究提出了一种基于客户端的模态选择方案CMSFed,用于解决多模态联邦学习中的模态失衡问题。该方案通过选择性地使用不同模态的本地数据参与本地训练和聚合,减轻全局模型的潜在模态失衡,并引入新的局部训练损失函数来增强弱模态并调整特征空间差异。实验证明了CMSFed在多模态数据利用中的有效性。
CreamFL是一个支持多模态联邦学习的框架,使用异构模型结构和数据模态提高全局模型复杂度和数据容量。它使用公共数据集进行知识交流,并设计了全局本地交叉模态集成策略来聚合客户端表示。同时,它提出了模态间和模态内对比的策略来规范本地训练,测试结果表明比其他联邦学习方法更好。
完成下面两步后,将自动完成登录并继续当前操作。