SGTR+：使用 Transformer 进行端到端场景图生成
内容提要
本文综述场景图生成的多项进展，包括基于Transformer的端到端框架、IETrans数据增强、TraCQ条件查询模型、VSPNet弱监督框架、SGG_point三维点云框架、EdgeSGG双消息传递网络、RepSGG查询键表示、自学知识训练、BA-SGG平衡调整及TISGG图文结合模型，这些方法在Visual Genome等基准上提升了性能并缓解了长尾问题。
延伸解读
技术演进：从两阶段到端到端
文章梳理了场景图生成（SGG）的技术路线演变。早期方法多采用两阶段流程，而基于Transformer的端到端框架（如SGTR+）通过结构化谓语生成器和图组装模块，简化了流程并提升了推理效率。后续的TraCQ、RepSGG等模型进一步利用条件查询和查询-键表示，绕开多任务学习问题，在Visual Genome等基准上达到先进性能。
数据增强与长尾问题缓解
长尾分布和语义歧义是SGG的常见挑战。IETrans通过自动创建增强数据集，为所有谓词提供更充分注释，使宏性能翻倍。BA-SGG则从语义平衡和谓词学习两方面调整不平衡，在Visual Genome上平均召回率提升6.1%至14.3%。这些方法表明，数据层面和损失层面的调整能有效缓解长尾问题。
弱监督与三维场景图生成
VSPNet建立了首个基于图的弱监督学习框架，通过动态注意力二分图传递和图对齐算法，在性能优于弱监督基准的同时速度提升数倍。SGG_point则将场景图生成扩展到三维点云，利用EdgeGCN进行显式关系建模，并探索节点与边缘的孪生交互机制。这些工作拓展了SGG的应用场景和标注效率。
多模态融合与零样本提升
TISGG模型结合文本和图像特征，通过联合特征学习和事实知识微调，解决长尾和无法识别三元组的问题。在Visual Genome上，其零样本召回率相比一般SGG模型提升11.7%。这表明引入外部知识或多模态信息能增强模型对稀有关系的预测能力，是缓解长尾问题的另一有效途径。
Q&A
SGTR+ 是什么？它有什么特点？
SGTR+ 是一种基于 Transformer 的端到端场景图生成框架。它利用结构化谓语生成器开发了新的实体感知谓语表示方法，并设计了图组装模块来推断适应性的双部分场景图构建。在两个挑战性基准测试中取得了最先进或可比的性能，并提高了推理效率。
场景图生成中长尾分布问题有哪些解决方法？
文章提到了多种方法：IETrans 通过自动创建增强数据集提供更充分连贯的注释；BA-SGG 通过语义平衡调整和平衡谓词学习调整信息谓词和常见谓词之间的不平衡；TISGG 采用联合特征学习和基于事实知识的精细调整模块；RepSGG 通过仿射变换策略修改关系逻辑以平衡主导类和稀有类；自学知识训练方案使用两个关系分类器减少标注偏差和稀疏标注影响。
TraCQ 模型在场景图生成中有什么优势？
TraCQ 是一种基于 Transformers 和条件查询的 SGG 模型，它绕开了多任务学习问题和组合实体配对分布。在 Visual Genome 数据集实验中，它优于目前单阶段 SGG 方法和许多双阶段方法，且具有端到端的训练和更快的推理速度。
VSPNet 是什么？它在弱监督场景图生成中表现如何？
VSPNet 是一个视觉语义解析网络，基于动态、注意力机制的二分图传递框架，关注图节点和边。它通过全新的图对齐算法建立了第一个基于图的弱监督学习框架。大量实验证明 VSPNet 优于弱监督基准，而且速度是基准的数倍，是训练时效和性能平衡的一个不错的选择。
三维场景图生成有哪些代表性方法？
文章提到了 SGG_point 框架，它通过三个连续阶段（构建场景图、推理和推断）进行三维基于点的场景图生成。在推理阶段创建了面向边缘的图卷积网络（EdgeGCN），利用多维边缘特征进行显式关系建模，并探索了节点和边缘之间的两种相关的孪生交互机制，以独立演化场景图表示。
TISGG 模型如何提升场景图生成的性能？
TISGG 是一种 Text-Image 结合的场景图生成模型，采用联合特征学习模块和基于事实知识的精细调整模块来解决 SGG 模型中的长尾问题和无法识别的三元组问题，同时设计了平衡的学习策略。实验表明，在 Visual Genome 数据集上，TISGG 模型的预测性能相比一般的 SGG 模型提升了 11.7% 的 zero-shot recall。
