不完整感知模式下的联邦学习
内容提要
本文介绍了一种新的多模态融合联邦学习方法（FedMFS），通过Shapley值量化模态贡献，减少通信开销并保持准确性。同时提出了跨模态渗透联邦学习框架（FedCMI），解决模态失衡和知识异质性问题。研究表明，这些方法在多模态任务中有效提升性能，同时保护用户隐私。
延伸解读
通信效率与性能的平衡
FedMFS 通过 Shapley 值量化模态贡献，并依据模态模型大小衡量通信开销，从而在性能与通信成本之间实现灵活平衡。实验表明，相比基线方法，该方法减少了 1/20 的通信开销，同时达到可比的准确性。这为多模态联邦学习在资源受限环境下的部署提供了可行思路。
模态失衡与知识异质性的应对
FedCMI 框架针对分布式条件下的模态失衡和知识异质性问题，通过知识从全局优势形式转移，促进弱模态的局部特征开发，实现公平的类别性能表现。这一方法有助于提升多模态联邦学习在客户端模态可用性差异较大场景下的鲁棒性。
缺失模态场景的元学习策略
针对模态异质性、客户端间模态可用性差异和缺失数据问题，研究者提出了专为多模态联邦任务设计的元学习框架。在增强的 MNIST 数据集上的实验表明，通过精细调整元学习率，该算法在部分缺失模态场景中取得了优于基线的性能。
多模态联邦学习的基准与评估
FedMultimodal 是首个用于多模态学习的联邦学习基准，覆盖十个常用数据集和五个代表性多模态应用，包含八种独特模态。它提供了标准化方法来评估联邦学习对缺失模态、缺失标签和错误标签三种常见数据污染的鲁棒性，为后续研究提供了统一的比较基础。
Q&A
FedMFS方法如何减少通信开销？
FedMFS方法通过Shapley值量化模态贡献，衡量模态模型的大小，从而实现性能与通信成本之间的灵活平衡，减少了1/20的通信开销。
跨模态渗透联邦学习框架（FedCMI）解决了哪些问题？
FedCMI框架有效缓解了模态失衡和知识异质性问题，促进了局部特征开发，实现了公平的类别性能表现。
新提出的元学习框架在缺失模态场景中的表现如何？
新的元学习框架通过精细调整元学习率，在缺失模态场景中实现了比基线更好的性能。
CreamFL框架的主要特点是什么？
CreamFL框架支持多模态联邦学习，通过异构模型结构和数据模态提高全局模型的复杂度和数据容量，并设计了全局本地交叉模态集成策略。
FedMultimodal基准的创新之处在哪里？
FedMultimodal是第一个用于多模态学习的FL基准，提供标准化方法评估FL对数据污染的鲁棒性，包括缺失模态、缺失标签和错误标签。
新颖的FL架构如何适应数据样本的异质性？
新颖的FL架构通过分布式梯度融合和感知客户权重策略，解决了跨多个数据模态的收敛速度差异挑战。
