Scene Graph Generation with Enhanced Data Transfer and Human Triplet Collaboration
内容提要
本文介绍了多种场景图生成（SGG）模型的改进方法，包括TISGG模型、IETrans方法和自我训练框架（ST-SGG）。这些方法旨在解决长尾问题和三元组识别困难，实验结果表明它们在性能上有显著提升。
延伸解读
长尾问题的不同解决路径
场景图生成中的长尾问题表现为尾部谓词样本稀少，导致模型识别困难。本文汇总的方法从数据增强、伪标签、特征增强等角度切入：IETrans通过自动创建增强数据集为所有谓词提供更充分注释；ST-SGG利用未标注三元组进行自我训练；CFA则增加三元组特征多样性。这些方法分别从数据分布和特征表示层面缓解长尾，但实际效果可能因数据集和模型结构而异。
零样本与组合泛化的进展
零样本场景图生成要求模型识别训练中未出现的三元组。TISGG模型在Visual Genome数据集上zero-shot recall提升11.7%，T-CAR框架通过三元组校准和未见空间降低损失提升组合泛化能力。这些进展表明，结合外部知识或专门校准机制有助于模型处理未见组合，但零样本性能仍受限于训练数据的覆盖范围和语义先验的质量。
跨领域方法的借鉴
本文提到的Triplet Graph Transformer (TGT)虽应用于分子性质预测，但其三元关注机制和聚合机制实现了图中相邻节点的直接通信，提高了训练效率和性能。这种跨领域思路可能为场景图生成中的关系建模提供参考，例如利用类似机制捕捉三元组内部交互。不过，分子图与场景图在结构和语义上存在差异，直接迁移需谨慎验证。
Q&A
TISGG模型的主要优势是什么？
TISGG模型在Visual Genome数据集上的zero-shot recall提升了11.7%，有效解决了长尾问题和三元组识别困难。
IETrans方法是如何改善场景图生成的？
IETrans方法通过自动创建增强的数据集，解决了长尾分布和语义歧义问题，使宏性能翻倍。
自我训练框架（ST-SGG）是如何缓解长尾问题的？
ST-SGG利用未标注的三元组和新型伪标记技术，提升了细粒度谓词类的性能，缓解了长尾问题。
组合特征增强（CFA）策略的目的是什么？
CFA策略通过增加三元组特征的多样性，解决现有偏差问题，并在多种场景图生成框架中取得最优性能。
Triplet Graph Transformer (TGT)的创新点是什么？
TGT通过三元关注机制和聚合机制提高训练效率和模型性能，并在多个分子性质预测基准上达到了新的最先进结果。
Trico方法如何补充缺失的谓词？
Trico方法通过探索三种互补的时空相关性来补充缺失的谓词，验证了其在VidSGG数据集上的卓越性能。
