该研究提出了一种基于图像-上下文-文本交互的新范式，通过使用大型多模态模型生成描述性文本上下文来弥合图像和文本之间的语义和形式差距。实验结果表明，该方法在多模态信息提取方面优于现有的最先进方法。

该文介绍了一种多模态问答框架，将多模态信息提取任务统一为一个流水线，提高了各种类型的现成大型多模态模型在 MIE 任务上的性能。该框架能够使 LMM 在更大的语言模型竞争中获得更好的表现，成为解决 MIE 和其他下游多模态任务的一般原则。