基于跨模态原型的严重缺失模态下的多模态联邦学习
内容提要
该文综述多模态联邦学习进展，聚焦模态缺失与异质性问题，提出FedCMI、CMSFed、CreamFL、FedMFS、FedMEKT、TRML等框架，通过原型库、模态选择、知识迁移、Shapley值及虚拟模态生成等方法，缓解模态失衡，提升全局模型性能与通信效率。
延伸解读
模态缺失的应对策略
文章指出，模态缺失是多模态联邦学习中的常见问题。FedCMI通过知识从全局优势形式转移，缓解模态失衡；TRML则生成虚拟模态替代丢失模态，并对齐语义空间。这些方法旨在利用现有模态信息补偿缺失模态，提升模型在缺失场景下的鲁棒性。
通信效率与性能平衡
FedMFS利用Shapley值量化模态贡献，并结合模态模型大小衡量通信开销，实现了性能与通信成本的灵活平衡。实验表明，相比基线方法，其通信开销减少至1/20，同时达到可比的准确性。这为资源受限的联邦学习场景提供了实用参考。
异构模型与知识共享
CreamFL支持客户端使用异构模型结构和数据模态，通过公共数据集进行知识交流，并设计全局本地交叉模态集成策略聚合客户端表示。这种方法提高了全局模型的复杂度和数据容量，在图像-文本检索和视觉问答任务上优于现有联邦学习方法。
评估基准与鲁棒性
FedMultimodal是首个多模态联邦学习基准，覆盖十个常用数据集和五种多模态应用，提供标准化方法评估联邦学习对缺失模态、缺失标签和错误标签的鲁棒性。该基准有助于研究者系统比较不同方法在真实数据污染下的表现。
Q&A
多模态联邦学习面临哪些主要挑战？
多模态联邦学习主要面临模态缺失和模态异质性两大挑战。模态缺失指客户端可能缺少某些模态的数据；模态异质性指不同客户端间模态可用性存在差异，导致模态失衡和知识异质性问题。
FedCMI框架是如何解决模态失衡问题的？
FedCMI通过从全局优势形式中转移知识，缓解分布式条件下的模态失衡和知识异质性问题，并在弱模态中促进局部特征开发，从而实现公平的类别性能表现。
CMSFed如何应对多模态联邦学习中的模态不平衡？
CMSFed采用基于客户端的模态选择方案，全面利用每个模态的信息，避免客户端选择偏差。它通过选择性使用不同模态的本地数据参与训练和聚合，引入新的局部训练损失函数增强弱模态，并设计模态级梯度解耦方法维持梯度差异，从而平衡多模态联邦学习。
CreamFL框架有什么特点？
CreamFL支持客户侧使用异构模型结构和数据模态，提高全局模型的复杂度和数据容量。它使用公共数据集进行知识交流，设计全局本地交叉模态集成策略聚合客户端表示，并提出模态间和模态内对比策略规范本地训练。在图像-文本检索和视觉问答任务上表现优于现有联邦学习方法。
FedMFS如何平衡性能与通信成本？
FedMFS利用Shapley值量化每个模态的贡献，并用模态模型的大小衡量通信开销，从而在性能与通信成本之间实现灵活平衡。实验表明，相比基线方法，它减少了1/20的通信开销，同时达到可比的准确性。
TRML框架如何处理缺失模态？
TRML利用多模态基础模型生成虚拟模态来替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态情况下，通过交叉模态语义空间对齐捕捉丢失模态语义。在CMU-MOSI、CMU-MOSEI和MELD数据集上验证了其优势。
