基于知识增强的跨模态提示模型的少样本联合多模态实体-关系提取
发表于: 。本研究解决了在社交媒体帖子中从文本-图像对提取实体及其关系的联合多模态实体-关系提取(JMERE)任务中的数据不足问题。我们提出的知识增强跨模态提示模型(KECPM)能够通过引导大语言模型生成补充背景知识,从而提高了少样本学习的效果,并在微观和宏观F$_1$分数上超过了强基线方法,展示了其有效性。
本研究解决了在社交媒体帖子中从文本-图像对提取实体及其关系的联合多模态实体-关系提取(JMERE)任务中的数据不足问题。我们提出的知识增强跨模态提示模型(KECPM)能够通过引导大语言模型生成补充背景知识,从而提高了少样本学习的效果,并在微观和宏观F$_1$分数上超过了强基线方法,展示了其有效性。