DeCUR: 多模态自监督中的公共和独特表达解耦

本文介绍了一种名为MMCL的新型框架，用于捕捉多模态表示中的内部和外部动态。采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，该方法超过了现有的最先进方法。