基于杰卡德距离的条件对比学习与上下文视觉增强的多模态实体链接增强方法
📝
内容提要
本研究解决了现有的多模态实体链接在对比学习中未能充分考虑负样本选择的问题,通过提出杰卡德距离条件对比学习(JD-CCL)方法,有效地提高了模型匹配能力。此外,引入上下文视觉辅助可控补丁变换(CVaCPT)方法,利用多视角合成图像和上下文文本表示增强视觉表现。实验结果表明,该方法在基准数据集上表现出强大的效果。
🏷️
标签
➡️