本研究提出了一种新方法——数据感知单模采样,以解决多模态学习中的模态失衡问题。实验结果表明,该方法的性能优于多种基线。
AIxiv专栏报道了多模态连续学习(MMCL)的进展及其面临的挑战,如灾难性遗忘、模态失衡和高计算成本。研究者提出了基于正则化、架构、重放和提示的方法来应对这些问题,未来可探索更多模态交互和高效微调的方向。
本文介绍了一种新的多模态融合联邦学习方法(FedMFS),通过Shapley值量化模态贡献,减少通信开销并保持准确性。同时提出了跨模态渗透联邦学习框架(FedCMI),解决模态失衡和知识异质性问题。研究表明,这些方法在多模态任务中有效提升性能,同时保护用户隐私。
完成下面两步后,将自动完成登录并继续当前操作。