本文提出了一种通过图像-句子对学习的方法，用于提取图像中本地化对象及其关系的图形表示。该模型通过利用现有的对象检测器来识别和定位对象实例，并通过掩码标记预测任务来学习场景图。相较于使用人工注释的非定位场景图训练的最新方法，该模型获得了30％的相对增益。同时，在弱监督和全监督场景图生成方面，该模型也展现了出色的结果，并探究了用于检测场景图的开放词汇设置，并呈现了首个开放式场景图生成的结果。