从像素到图形：利用视觉语言模型进行开放式场景图生成
内容提要
本文提出了统一框架OvSGTR，旨在实现开放词汇的场景图生成，并通过知识蒸馏保持视觉与概念的对齐。研究表明，使用小型数据集和新训练方法可显著提升视觉-语言模型的表现。此外，框架GPT4SGG通过自然语言描述生成场景图，解决了数据稀疏性问题，提升了模型性能。
延伸解读
开放词汇场景图生成的技术路径
文章介绍了OvSGTR框架，它从整体视角实现完全开放词汇的场景图生成，并通过知识蒸馏保持视觉与概念的对齐。在Visual Genome基准上的实验证明了其有效性和优越性。这为场景图生成提供了新思路，即不依赖封闭词汇表，而是利用视觉-语言模型的对齐能力处理开放词汇。
数据效率与训练范式创新
研究表明，虽然场景图等结构化标注数据耗时昂贵，但只需小型数据集，配合专用模型架构和新训练范式，就能提升视觉-语言模型的结构理解能力。具体方法包括直接使用场景图标签监督图像和文本编码器，以及添加自适应SG令牌和适应技术。这降低了对大规模标注的依赖。
利用自然语言缓解数据稀疏
GPT4SGG框架通过自然语言描述生成场景图，解决了非结构化标题数据中关系三元组提取、未定位对象模糊以及数据稀疏和偏向等问题。它通过综合和区域特定的叙述合成场景图，显著提升了在图像-标题数据上训练的SGG模型性能，为利用语言模型进行视觉推理提供了新途径。
弱监督与连续学习的进展
VSPNet基于动态注意力二分图传递框架，建立了首个基于图的弱监督学习框架，在弱监督基准上表现更优且速度更快。LSGG框架则处理谓词以流式方式展开的终身场景图生成任务，在VG和Open-Image数据集上展示了连续学习和传统设置的优势，并具有良好的训练时效和性能平衡。
Q&A
OvSGTR框架的主要功能是什么？
OvSGTR框架用于实现开放词汇的场景图生成，并通过知识蒸馏保持视觉与概念的对齐。
如何提高视觉-语言模型的表现？
使用小型数据集和新训练方法可以显著提升视觉-语言模型的表现。
GPT4SGG框架解决了什么问题？
GPT4SGG框架通过自然语言描述生成场景图，解决了数据稀疏性问题，提升了模型性能。
Vision-Language Prompting模型的优势是什么？
VLPrompt模型通过结合图像和语言信息，实现精确的关系预测，显著优于现有方法。
终身场景图生成框架的特点是什么？
LSGG框架在连续学习和传统设置方面表现优越，具有良好的训练时效和性能平衡。
视觉语义解析网络的创新之处在哪里？
VSPNet通过动态、注意力机制的二分图传递框架，显著优于弱监督基准，且训练效率高。
