从 Transformer 中提取出图形用于场景图生成的 EGTR
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文介绍了一种新型基于Transformer的场景图生成方法DSGG，该方法通过图感知查询进行图预测，有效解决了节点关系的紧凑表示和语义重叠问题。实验结果表明，该模型在场景图生成任务中显著提升了性能，尤其在全景场景图生成方面表现突出。
🔎
延伸解读
DSGG 的核心创新
DSGG 将场景图检测视为基于一组独特图感知查询的直接图预测问题，并采用放松子图匹配的方式获取图节点及其关系的紧凑表示。同时，通过关系蒸馏策略解决关系语义重叠问题。这些设计使其在场景图生成任务上取得了最先进的结果。
性能提升的具体表现
实验结果显示，DSGG 在 mR@50 和 mR@100 指标上分别取得了 3.5% 和 6.7% 的显著改进。在全景场景图生成任务中，改进幅度更大，分别达到 8.5% 和 10.3%。这表明 DSGG 在全景场景下具有更强的泛化能力。
与相关工作的对比
文章还回顾了多个基于 Transformer 的场景图生成方法，如 TraCQ、VETO、IETrans 等。这些方法分别从不同角度解决多任务学习、数据分布、关系编码等问题。DSGG 在性能上超越了这些方法，尤其是在全景场景图生成任务中表现突出。
❓
Q&A
DSGG方法的主要创新点是什么？
DSGG方法通过图感知查询进行图预测，解决了节点关系的紧凑表示和语义重叠问题。
DSGG在场景图生成任务中的表现如何？
DSGG在场景图生成任务中显著提升了性能，尤其在全景场景图生成方面表现突出。
DSGG在mR@50和mR@100指标上取得了多少改进？
DSGG在mR@50和mR@100指标上分别取得了3.5%和6.7%的显著改进。
全景场景图生成任务中DSGG的改进幅度是多少？
在全景场景图生成任务中，DSGG取得了8.5%和10.3%的更大改进。
DSGG是基于什么技术的？
DSGG是一种新型基于Transformer的场景图生成方法。
DSGG如何解决节点关系的表示问题？
DSGG采用放松子图匹配的方式获取图节点及其关系的紧凑表示。
🏷️
