高效沟通的多模态联邦学习：联合选择模态与客户端
内容提要
多模态联邦学习研究提出多种方法：FedMFS利用Shapley值量化模态贡献，平衡性能与通信；CMSFed解决模态失衡；FedMultimodal提供鲁棒性评估基准；CreamFL支持异构模型与数据模态；MFCPL应对严重缺失模态；FedCMI缓解模态失衡与知识异质；FedMEKT结合半监督与知识迁移，降低通信成本。
延伸解读
多模态联邦学习的核心挑战
文章指出，多模态联邦学习面临模态异质性、客户端间模态可用性差异和缺失数据等核心挑战。这些挑战导致模态失衡和知识异质性问题，影响全局模型的性能。例如，CMSFed和FedCMI分别针对模态失衡和知识异质性提出解决方案，而FedMultimodal则提供了评估鲁棒性的基准。理解这些挑战有助于读者把握该领域的研究动机。
提升通信效率的典型方法
通信成本是多模态联邦学习的关键瓶颈。FedMFS利用Shapley值量化模态贡献，并结合模态模型大小衡量通信开销，在性能与通信成本间实现灵活平衡，实验显示其减少了1/20的通信开销，同时达到可比准确性。FedMEKT通过半监督学习和知识迁移机制，也实现了较低的通信成本。这些方法为实际部署提供了参考。
处理模态缺失与不平衡的策略
针对模态缺失和不平衡问题，研究者提出了多种策略。CMSFed通过客户端模态选择方案和局部训练损失函数，增强弱模态并调整特征空间差异；MFCPL利用交叉模态正则化和对比机制，在严重缺失模态场景中表现优异；FedCMI通过跨模态知识转移缓解模态失衡。这些方法从不同角度提升了模型在数据不完整情况下的鲁棒性。
评估基准与框架的多样性
FedMultimodal是首个多模态联邦学习基准，覆盖五个应用和八种模态，提供标准化方法评估对缺失模态、缺失标签和错误标签的鲁棒性。CreamFL支持异构模型结构和数据模态，通过知识交流提升全局模型复杂度。这些基准和框架为比较不同方法提供了统一平台，推动了该领域的可复现研究。
Q&A
FedMFS 是如何平衡多模态联邦学习的性能与通信成本的？
FedMFS 利用 Shapley 值量化每个模态的贡献，并用模态模型的大小衡量通信开销，从而在性能与通信成本之间实现灵活平衡。实验表明，相比基线方法，它减少了 1/20 的通信开销，同时达到可比的准确性。
CMSFed 如何解决多模态联邦学习中的模态失衡问题？
CMSFed 提出基于客户端的模态选择方案，通过选择性地使用不同模态的本地数据参与训练和聚合，避免客户端选择偏差。它还引入新的局部训练损失函数增强弱模态，并设计模态级梯度解耦方法维持梯度差异，以平衡多模态联邦学习。
FedMultimodal 基准的主要特点是什么？
FedMultimodal 是第一个用于多模态学习的联邦学习基准，覆盖来自十个常用数据集的五个代表性多模态应用，共八种独特模态。它提供标准化方法评估联邦学习对三种常见数据污染的鲁棒性：缺失模态、缺失标签和错误标签。
CreamFL 框架支持哪些功能，效果如何？
CreamFL 支持客户端使用异构模型结构和数据模态，提高全局模型的复杂度和数据容量。它使用公共数据集进行知识交流，设计全局本地交叉模态集成策略聚合客户端表示，并提出模态间和模态内对比策略规范本地训练。在图像-文本检索和视觉问答任务上，它优于目前流行的联邦学习方法。
MFCPL 针对严重缺失模态的多模态联邦学习提出了什么方法？
MFCPL 使用完整的原型样本，在共享模态级别和特定模态级别上运用交叉模态正则化和交叉模态对比机制，提供多样化的模态知识，并引入交叉模态对齐增强特定模态特征的整体性能。在三个多模态数据集上的实验证明，它在严重缺失模态场景中表现优异。
FedCMI 框架如何缓解模态失衡和知识异质性？
FedCMI 通过知识从全局优势形式中转移，有效缓解分布式条件下的模态失衡和知识异质性问题，并在弱模态中促进局部特征开发，从而实现公平的类别性能表现。
FedMEKT 框架有哪些优势？
FedMEKT 引入半监督学习方法和知识迁移机制，在多个客户端之间协作训练一个广义全局模型，克服了单模态数据和标记数据约束的问题。相比其他基准方法，它具有更高的全局编码器性能，保证了用户数据和模型参数的隐私，并且通信成本较低。
