DeCUR: 多模态自监督中的公共和独特表达解耦
原文中文,约300字,阅读约需1分钟。发表于: 。通过多传感器数据的多模态自我监督学习,提出了一种区分共有和独特表示的方法(Decoupling Common and Unique Representations,DeCUR),在场景分类和语义分割的下游任务中展现出一致的优势。
本文介绍了一种名为MMCL的新型框架,用于捕捉多模态表示中的内部和外部动态。采用对比学习技术,包括单模态对比编码和伪孪生网络,来过滤内嵌噪声和捕获跨模态动态。设计了两种对比学习任务,实例和基于情感的对比学习,以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明,该方法超过了现有的最先进方法。