本研究提出了一种新方法——数据感知单模采样,以解决多模态学习中的模态失衡问题。实验结果表明,该方法的性能优于多种基线。
AIxiv专栏报道了多模态连续学习(MMCL)的进展及其面临的挑战,如灾难性遗忘、模态失衡和高计算成本。研究者提出了基于正则化、架构、重放和提示的方法来应对这些问题,未来可探索更多模态交互和高效微调的方向。
本文介绍了一种新的多模态融合联邦学习方法(FedMFS),通过Shapley值量化模态贡献,减少通信开销并保持准确性。同时提出了跨模态渗透联邦学习框架(FedCMI),解决模态失衡和知识异质性问题。研究表明,这些方法在多模态任务中有效提升性能,同时保护用户隐私。
多模态联邦学习研究提出多种方法:FedMFS利用Shapley值量化模态贡献,平衡性能与通信;CMSFed解决模态失衡;FedMultimodal提供鲁棒性评估基准;CreamFL支持异构模型与数据模态;MFCPL应对严重缺失模态;FedCMI缓解模态失衡与知识异质;FedMEKT结合半监督与知识迁移,降低通信成本。
完成下面两步后,将自动完成登录并继续当前操作。