该研究提出了一种名为SUMMER的新框架,旨在解决多模态情感识别中的模态异质性和指导性不足的问题。通过稀疏动态专家模型和层次交叉模态融合,该方法显著提升了情感识别能力,尤其在识别少数类和语义相似情感方面表现优于现有技术。
本文提出了一种多模态和半监督联邦学习框架,利用自编码器提取共享表示,并通过多模态FedAvg算法聚合训练结果。研究表明,多模态数据显著提升分类性能。新方法FedMFS通过Shapley值平衡性能与通信成本,减少通信开销。针对模态异质性,提出元学习框架和CMSFed方案,优化模态选择,提升模型准确性。MFCPL方法通过交叉模态对齐增强特征表现,FLISM框架在处理缺失模态时提高了效率和性能。
本文提出了一种多模态信息最大化框架,通过提高单模态输入与多模态融合结果之间的相互信息,提升下游任务性能。同时,研究介绍了基于互信息最大化的多模态表示模型,以解决模态异质性问题。实验结果验证了该方法的有效性,为多模态学习提供了参考。
本文提出了一种新型多模态联邦学习框架,旨在解决模态异质性和缺失数据问题。通过元学习和多视角学习,该框架提高了性能和隐私保护,能够有效共享标签信息并提升模型训练效率。实验结果表明,该方法在多个场景中优于现有技术。
完成下面两步后,将自动完成登录并继续当前操作。