优先选择模态：联邦多模态学习中的灵活重要性调度
内容提要
本文提出了一种多模态和半监督联邦学习框架，利用自编码器提取共享表示，并通过多模态FedAvg算法聚合训练结果。研究表明，多模态数据显著提升分类性能。新方法FedMFS通过Shapley值平衡性能与通信成本，减少通信开销。针对模态异质性，提出元学习框架和CMSFed方案，优化模态选择，提升模型准确性。MFCPL方法通过交叉模态对齐增强特征表现，FLISM框架在处理缺失模态时提高了效率和性能。
延伸解读
多模态联邦学习的核心挑战
文章指出，多模态联邦学习面临模态异质性、客户端间模态可用性差异和缺失数据等核心挑战。这些挑战导致传统方法难以有效聚合不同模态的信息，进而影响全局模型的性能。例如，模态不平衡可能引起客户端选择偏差，而缺失模态则要求模型具备鲁棒的特征表示能力。理解这些挑战是设计有效解决方案的前提。
平衡性能与通信开销的策略
FedMFS通过Shapley值量化模态贡献，并结合模态模型大小衡量通信开销，实现了性能与通信成本的灵活平衡。实验表明，该方法在保持可比准确性的同时，将通信开销减少至基线的1/20。这提示我们，在多模态联邦学习中，动态评估模态价值并据此调整通信策略，是提升效率的关键。
应对模态缺失的技术路线
针对模态缺失问题，文章介绍了多种方法：元学习框架通过精细调整元学习率提升缺失模态场景下的性能；原型库方法利用原型作为缺失模态的掩码，实现模型不可知的单模态推断；FLISM框架则通过模拟技术学习稳健表示，在三个真实数据集上平均提升F1-score 0.067，并显著减少通信和计算开销。这些方案为不同缺失场景提供了多样化的解决思路。
跨模态对齐与知识转移的进展
MFCPL通过交叉模态正则化和对比机制，在共享和特定模态级别对齐特征，尤其擅长处理严重缺失模态的情况。FedCMI则通过知识从全局优势形式转移，缓解模态失衡和知识异质性，促进弱模态的特征开发。这些方法强调，跨模态对齐和知识转移是提升多模态联邦学习鲁棒性和公平性的重要手段。
Q&A
什么是多模态和半监督联邦学习框架？
多模态和半监督联邦学习框架利用自编码器从不同本地数据模态中提取共享表示，并通过多模态FedAvg算法聚合训练结果。
FedMFS方法如何平衡性能与通信成本？
FedMFS方法通过Shapley值量化每个模态的贡献，从而在性能与通信成本之间实现灵活平衡，减少通信开销。
CMSFed方案的主要优势是什么？
CMSFed方案通过优化模态选择，全面利用每个模态的信息，避免模态不平衡引起的客户端选择偏差，从而提升模型准确性。
MFCPL方法在处理缺失模态时的表现如何？
MFCPL方法通过交叉模态对齐增强特征表现，尤其在存在严重缺失模态的场景中表现优异。
FLISM框架如何提高效率和性能？
FLISM框架通过模拟技术学习稳健的表示，能够在处理缺失模态时提高模型性能和系统效率，显著减少通信和计算开销。
多模态数据对分类性能的影响是什么？
引入多模态数据显著提升了联邦学习的分类性能，实证结果表明其有效性。
