BriefGPT - AI 论文速递
·
高效沟通的多模态联邦学习：联合选择模态与客户端
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
该研究提出了一种基于客户端的模态选择方案CMSFed，用于解决多模态联邦学习中的模态失衡问题。该方案通过选择性地使用不同模态的本地数据参与本地训练和聚合，减轻全局模型的潜在模态失衡，并引入新的局部训练损失函数来增强弱模态并调整特征空间差异。实验证明了CMSFed在多模态数据利用中的有效性。
🎯
关键要点
- 提出了一种基于客户端的模态选择方案CMSFed，解决多模态联邦学习中的模态失衡问题。
- CMSFed通过选择性使用不同模态的本地数据参与训练和聚合，减轻全局模型的模态失衡。
- 引入新的局部训练损失函数，增强弱模态并调整特征空间差异。
- 设计模态级梯度解耦方法，维持选择过程中的梯度差异。
- 大量实验证明CMSFed在多模态数据利用中的有效性和优越性。
➡️
