细粒度场景图生成的自适应自训练框架
内容提要
该文综述场景图生成研究进展：利用大语言模型从图片标题提取三元组并对齐实体与谓词类别，以缓解语义简化和低密度问题；提出IETrans扩充数据以应对长尾分布与语义歧义；采用自适应细粒度谓词分辨、层次记忆学习、TEMPURA、BA-SGG、TISGG及因果推断去偏等方法，显著提升召回率与零样本性能。
延伸解读
从标题中挖掘监督信号：弱监督SGG的新思路
文章提到利用大语言模型从图片标题中提取三元组，并与目标数据的实体和谓词类别对齐。这为弱监督场景图生成提供了一种低成本获取标注的途径，尤其适合训练图片有限的情况。实验显示该方法在Recall@K和平均Recall@K上优于现有弱监督方法，说明标题文本中蕴含的关系信息可以被有效利用，但前提是实体和谓词类别的对齐质量要足够高。
数据增强与长尾分布：IETrans的针对性设计
IETrans方法针对场景图生成中的长尾分布和语义歧义问题，通过自动创建增强数据集为所有谓词提供更充分连贯的注释，从而支持大规模谓词类（如1,807类）的场景图生成。文章指出在增强数据集上训练可使宏性能翻倍，同时保持竞争性宏性能。这表明数据层面的扩充与平衡对缓解长尾问题具有直接作用，但增强数据的质量与多样性仍是实际应用中的关键变量。
细粒度谓词分辨与层次学习：提升召回率的组合策略
文章介绍了自适应细粒度谓词分辨学习方法，通过自适应谓词叶结点图定位难以辨别的谓词并逐步规范学习，在VG-SGG和GQA-SGG上平均召回率分别提升175%和76%。同时，层次记忆学习框架通过概念重构和模型重构约束，从简单到复杂训练模型，以应对混合粗细粒度和长尾问题。这些方法共同指向一个思路：对谓词进行更精细的建模和分阶段学习，有助于改善细粒度关系预测。
去偏与零样本性能：因果推断和文本图像结合的价值
文章提到因果推断方法构建场景图生成的因果图，通过反事实推断去除不良偏差，提出基于Total Direct Effect的无偏差SGG框架。此外，TISGG模型结合文本与图像特征，在Visual Genome上相比一般SGG模型提升11.7%的零样本召回。这些工作表明，处理数据偏差和引入多模态信息对提升模型在未见类别上的表现具有实际意义，但文章未给出这些方法在更广泛场景下的泛化结论。
Q&A
弱监督场景图生成中，如何利用大语言模型从图片标题提取三元组并解决语义简化和低密度问题？
通过利用大型语言模型和链式思维及上下文少样本学习策略，从图片标题中提取三元组并与目标数据的实体/谓词类对齐，有效解决语义过度简化和低密度场景图的问题，在Recall@K和平均Recall@K上显著提升，且能以少量训练图片有效训练模型。
IETrans方法如何解决场景图生成中的长尾分布和语义歧义问题？
IETrans是一种内外数据传输方法，通过自动创建增强的数据集，为所有谓词提供更充分和连贯的注释，从而应对长尾分布和语义歧义，可应用于大规模带有1,807个谓词类的场景图生成，在增强数据集上训练可使宏性能翻倍。
自适应细粒度谓词分辨学习方法是如何提升场景图生成性能的？
该研究提出自适应细粒度谓词分辨学习方法，运用自适应谓词叶结点图定位难以辨别的谓词并逐步规范学习，在VG-SGG和GQA-SGG数据集上的平均召回率分别提高了175%和76%，取得新的最佳性能。
BA-SGG框架如何调整场景图生成中的不平衡问题？
BA-SGG框架通过语义平衡调整和平衡谓词学习两个组件，分别对信息谓词和常见谓词之间的两种不平衡进行调整，在Visual Genome数据集上，与变压器模型相比，三个子任务的平均召回率分别提高了14.3%、8.0%和6.1%。
TISGG模型如何结合文本和图像信息来改善场景图生成的长尾和零样本问题？
TISGG模型采用联合特征学习模块和基于事实知识的精细调整模块来解决长尾问题和无法识别的三元组问题，并设计平衡的学习策略，在Visual Genome数据集上相比一般SGG模型提升了11.7%的zero-shot recall。
因果推断方法如何用于去除场景图生成中的偏差？
通过因果推断方法构建场景图生成的因果图，并通过传统偏差训练和反事实因果关系推断方法去除不良偏差，最终提出基于Total Direct Effect的无偏差SGG框架。
