本研究提出MMiC框架,旨在解决多模态联邦学习中的模态缺失问题。通过替换客户端模型参数和优化客户端选择,MMiC显著提升了缺失模态数据集的性能。
该研究探讨了多模态学习中添加和缺失模态对模型性能和公平性的影响。结果表明,添加新模态通常能提升模型性能,但可能影响公平性;而缺失模态则会导致性能和公平性双双下降,突显了实际应用中的鲁棒性问题。
本研究提出了一种层次表示学习框架(HRLF),有效解决多模态情感分析中的模态缺失问题,通过细粒度表示因子分解和层次互信息最大化机制,显著提升情感分析性能。
完成下面两步后,将自动完成登录并继续当前操作。