利用谓词和三元组学习进行场景图生成
内容提要
本文介绍了DB-SGG、DSGG和TISGG等场景图生成模型的创新方法，旨在解决数据不平衡和语义歧义问题。这些模型通过新的框架和策略，在长尾分布和三元组识别方面取得了显著的性能提升，展示了在场景图生成任务中的先进成果。
延伸解读
核心挑战：数据不平衡与语义歧义
场景图生成任务长期受限于语义空间和样本训练层面的不平衡，以及谓词语义重叠导致的歧义。文章指出，长尾分布和语义歧义是两大关键问题，直接影响模型对罕见谓词和三元组的识别能力。这些挑战促使研究者从数据增强、语义去偏见和关系蒸馏等角度提出解决方案，以提升模型在宏性能上的表现。
技术路线：从两阶段到端到端预测
文章回顾了多种模型的技术演进，如DSGG将场景图检测视为直接图预测问题，采用图感知查询和放松子图匹配；TraCQ利用条件查询和课程学习绕开多任务学习问题。这些方法倾向于端到端训练，旨在提高推理效率并减少组合实体配对分布的影响，代表了从传统两阶段方法向更紧凑框架的转变。
性能提升：宏召回与零样本能力
多个模型在Visual Genome数据集上报告了显著的性能提升。例如，DB-SGG在mR@20上超过Transformer模型136.3%、119.5%和122.6%；TISGG在零样本召回上提升11.7%；DSGG在mR@50和mR@100上分别改进3.5%和6.7%。这些指标表明，针对不平衡问题的策略能有效增强模型对罕见关系的预测能力。
新兴方向：弱监督与大型语言模型
文章提到利用大型语言模型进行弱监督场景图生成的新方法，通过链式思维和上下文少样本学习从图片标题中提取三元组，并与目标数据的实体/谓词类对齐。这种方法能缓解语义过度简化和低密度场景图问题，在Recall@K和平均Recall@K上优于现有弱监督方法，且仅需少量训练图片即可有效训练。
Q&A
DB-SGG框架的主要创新点是什么？
DB-SGG框架通过语义去偏见和平衡谓词学习显著提升了场景图生成性能。
DSGG模型是如何处理场景图检测的？
DSGG模型将场景图检测视为直接图预测问题，采用放松子图匹配和关系蒸馏策略。
IETrans方法解决了哪些问题？
IETrans方法通过增强数据集解决了长尾分布和语义歧义问题。
TISGG模型如何提升预测性能？
TISGG模型结合Text-Image特征学习，解决了长尾问题和三元组识别问题，提升了预测性能。
BA-SGG框架的主要功能是什么？
BA-SGG框架通过语义平衡调整和谓词学习显著提高了场景图生成的性能。
如何利用大型语言模型进行弱监督场景图生成？
通过链式思维和上下文少样本学习策略，大型语言模型可以从图片标题中提取三元组，有效解决语义过度简化和低密度场景图的问题。
