客户端智能模态选择用于平衡多模态联邦学习
内容提要
该文综述多模态联邦学习进展：FedMFS利用Shapley值量化模态贡献，平衡性能与通信；SocFedCS与FairFedCS基于Lyapunov优化选择客户端，兼顾成本与公平；CreamFL支持异构模型与模态；FedMultimodal提供多模态基准；另有元学习框架应对模态缺失，并综述客户端选择方法。
延伸解读
通信开销与模态贡献的量化平衡
FedMFS 通过 Shapley 值量化每个模态的贡献，并结合模态模型大小衡量通信开销，从而在性能与通信成本间灵活平衡。实验显示，相比基线方法，它减少了 1/20 的通信开销，同时达到可比的准确性。这提示读者，在多模态联邦学习中，模态贡献评估与通信开销的联合优化是降低整体成本的有效路径。
客户端选择中的成本与公平权衡
SocFedCS 和 FairFedCS 均基于 Lyapunov 优化进行客户端选择，但侧重点不同。SocFedCS 通过信任网络最小化成本并训练高质量模型，实验表明其平均测试准确率比最佳基线高 2.06%，成本低 12.24%。FairFedCS 则动态调整选择概率，兼顾声誉、参与次数和贡献，实现了平均 19.6% 更高的公平性和 0.73% 更高的测试准确性。读者可据此理解不同优化目标下的选择策略差异。
异构性与模态缺失的应对方案
CreamFL 支持客户端使用异构模型结构和数据模态，通过公共数据集进行知识交流，并设计全局本地交叉模态集成策略和对比学习规范本地训练，在图像-文本检索和视觉问答任务上优于流行联邦学习方法。此外，一个元学习框架专门应对模态异质性、客户端间模态可用性差异和缺失数据问题，在增强 MNIST 数据集上验证了有效性，并在缺失模态场景中通过调整元学习率取得比基线更好的性能。
基准与综述提供的评估视角
FedMultimodal 是首个多模态联邦学习基准，覆盖来自十个常用数据集的五个代表性多模态应用和八种独特模态，提供标准化方法评估联邦学习对缺失模态、缺失标签和错误标签三种数据污染的鲁棒性。同时，两篇综述分别梳理了客户端选择的技术、优点、局限与开放挑战，以及异构性、资源分配、通讯成本和公平性等主要挑战，常用解决方案是改进随机选择算法并评估测试准确率与通讯轮数之间的关系。
Q&A
FedMFS 是如何在联邦学习中平衡模型性能和通信成本的？
FedMFS 利用 Shapley 值量化每个模态对模型性能的贡献，同时用模态模型的大小衡量通信开销，从而在性能与通信成本之间实现灵活平衡。实验表明，相比基线方法，它减少了 1/20 的通信开销，同时达到可比的准确性。
SocFedCS 和 FairFedCS 在客户端选择上有什么不同？
SocFedCS 基于 Lyapunov 优化，通过信任网络在移动联邦学习网络中最小化成本并训练高质量模型，实验显示平均测试准确率比最佳基线高 2.06%，成本低 12.24%。FairFedCS 同样基于 Lyapunov 优化，但侧重公平性，动态调整用户选择概率，综合考虑声誉、参与次数和贡献，实验显示平均公平性提高 19.6%，测试准确性提高 0.73%。
CreamFL 框架支持哪些异构性？它采用了什么策略来聚合客户端表示？
CreamFL 支持客户侧使用异构的模型结构和数据模态，提高了全局模型的复杂度和数据容量。它使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示，还提出两种模态间和模态内对比策略来规范本地训练以达到全局共识。
针对联邦学习中的模态缺失问题，文章提到了哪些解决方案？
文章提到一个专为多模态联邦任务设计的元学习框架，通过元学习率的精细调整，在缺失模态场景中实现了比基线更好的性能。此外，FedMultimodal 基准提供了标准化方法来评估联邦学习对缺失模态等数据污染的鲁棒性。
FedMultimodal 基准的主要特点是什么？
FedMultimodal 是第一个用于多模态学习的联邦学习基准，覆盖来自十个常用数据集的五个代表性多模态应用，共八种独特模态。它提供标准化方法来评估联邦学习对实际多模态应用中三种常见数据污染的鲁棒性：缺失模态、缺失标签和错误标签。
联邦学习中的客户端选择面临哪些主要挑战？常用的解决方案和评估指标是什么？
根据综述，客户端选择的主要挑战包括异构性、资源分配、通讯成本和公平性。常用解决方案是改进随机选择算法，评估指标常关注测试准确率与通讯轮数之间的关系。
