具有共现知识和可学习的术语频率的场景图生成策略
内容提要
本文介绍了多种创新的场景图生成方法，包括综合连续场景图生成（CSEGG）、边缘双场景图生成（EdgeSGG）和终身场景图生成（LSGG）。研究表明，这些方法在对象关系预测和长尾问题上取得显著提升，尤其在视觉语言任务中表现优异。此外，空间-时间知识嵌入变压器（STKET）和Text-Image结合模型（TISGG）在生成视频场景图和解决长尾问题方面也展现了优势。
延伸解读
长尾问题的多路径探索
场景图生成中的长尾分布问题在多项研究中被针对性解决。EdgeSGG通过双消息传递神经网络缓解长尾，TISGG结合文本-图像特征与事实知识提升zero-shot recall 11.7%，环境不变课程学习则通过构建不同分布环境平衡主-客体对不平衡。这些方法从关系建模、多模态融合和数据分布调整等不同角度切入，反映了该问题的多维性。
从静态到动态与开放词汇的演进
场景图生成的研究范围正从静态图像向视频和开放词汇扩展。STKET将空间-时间知识嵌入Transformer，在视频场景图任务中mR@50提升最高8.1%；OvSGTR实现完全开放词汇生成，并通过知识蒸馏保留视觉-概念对齐。这些进展表明，模型需同时处理时序动态和未知类别，对泛化能力提出更高要求。
持续学习与评估基准的建立
CSEGG数据集和LSGG框架关注模型在学习新对象时对旧知识的保留。CSEGG包含三个学习场景和八个评估指标，LSGG以流式任务展开谓词学习，并在VG和Open-Image数据集上验证了连续学习设置下的优势。这些工作为评估场景图生成的持续学习能力提供了基准和方法论基础。
Q&A
综合连续场景图生成（CSEGG）数据集的主要特点是什么？
CSEGG数据集引入了三个学习场景和八个评估指标，探索现有SGG方法在学习新对象时对先前对象实体和关系的保留情况。
边缘双场景图生成（EdgeSGG）如何改善对象关系预测？
EdgeSGG通过双消息传递神经网络提出了一种新方法，能够准确预测对象之间的详细关系，并显著提升了各个场景图生成子任务的性能。
终身场景图生成（LSGG）框架的优势是什么？
LSGG框架通过流式展开任务，展示了在连续学习和传统设置方面的优势，实验结果表明其在各种度量标准上优于现有方法。
空间-时间知识嵌入变压器（STKET）模型的应用是什么？
STKET模型用于生成视频场景图，并在不同设置下相对于当前算法的mR@50提升了8.1%、4.7%和2.1%。
Text-Image结合的场景图生成（TISGG）模型解决了什么问题？
TISGG模型通过联合特征学习和基于事实知识的精细调整，解决了SGG模型中的长尾问题，实验显示其在Visual Genome数据集上的zero-shot recall提升了11.7%。
开放词汇的场景图生成框架的主要特点是什么？
该框架通过视觉语言预训练模型和显式关系建模知识，实现了优质性能，并增强了下游视觉语言任务。
