该研究利用多模态提取和图像文本对齐，采用创新的预训练目标来提高实体和关系的提取能力。实验结果表明，相对于先前的最佳方法，该方法的F1值提高了3.41％，并且对先前的多模态融合技术是正交的。在先前的最佳方法的基础上，该方法提高了5.47％的F1。