基于对比学习的多模态架构用于利用图像 - 文本配对进行表情符号预测

BriefGPT - AI 论文速递 · 2024-08-05T00:00:00Z

本文介绍了一种名为MultiModal Contrastive Learning (MMCL)的新框架，用于捕捉多模态表示中的内部和外部动态。该方法通过对比学习技术，包括单模态对比编码和伪孪生网络，过滤内嵌噪声并捕获跨模态动态。实验结果表明，该方法在两个公共数据集上超过了现有的最先进方法。