HiKER-SGG：分层知识增强鲁棒场景图生成
内容提要
本文介绍了综合连续场景图生成（CSEGG）数据集，探讨了现有场景图生成（SGG）方法在学习新对象时对旧对象的保留情况，以及如何通过连续目标检测提升对未知对象的泛化能力。同时，研究发展了基于多种模型的场景图像生成基准测试，并提出了优化视觉语言融合和医学知识提炼的新方法。
延伸解读
连续场景图生成：CSEGG数据集与评估
文章介绍了综合连续场景图生成（CSEGG）数据集，包含三个学习场景和八个评估指标，用于研究现有SGG方法在学习新对象时对旧对象实体和关系的保留情况。该数据集为评估模型在连续学习中的稳定性提供了基准，并探索了连续目标检测如何增强对未知对象上已知关系的泛化性能。
场景图生成在医学报告中的应用
基于场景图的放射学报告生成网络（SGRRG）利用自动生成的场景图来丰富医学知识，能够生成区域级别的视觉特征并预测解剖属性，实现端到端的医学知识提炼。该方法在报告生成方面超越了之前的最先进方法，并能更好地捕捉异常发现，展示了场景图在医学领域的应用潜力。
减少偏差与不确定性：TEMPURA与自学知识
TEMPURA框架通过基于Transformer的序列建模学习合成无偏差的关系表示，并使用高斯混合模型减少视觉关系预测的不确定性，从而生成更无偏的场景图。此外，基于自学知识的训练方案使用两个关系分类器减少标注偏差和稀疏标注的影响，在多个标准任务中取得显著改进。
全景场景图与无条件生成
文章介绍了基于全景分割生成全景场景图（PSG）的新任务，并创建了高质量PSG数据集用于基准测试，探讨了未来挑战。同时，SceneGraphGen模型通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，并应用于图像合成和异常检测。
Q&A
综合连续场景图生成（CSEGG）数据集的主要目的是什么？
CSEGG数据集旨在探索现有场景图生成方法在学习新对象时对旧对象的保留情况。
连续目标检测如何影响场景图生成的性能？
连续目标检测能够增强对未知对象上已知关系的泛化性能。
SGRRG网络在医学报告生成中有什么优势？
SGRRG网络能够生成区域级别的视觉特征，预测解剖属性，并在报告生成方面超越之前的最先进方法。
TEMPURA框架的主要功能是什么？
TEMPURA框架通过基于Transformer的序列建模，学习合成无偏差的关系表示，减少视觉关系预测的不确定性。
SceneGraphGen模型的特点是什么？
SceneGraphGen模型能够无条件生成多样且遵循真实场景语义模式的场景图。
文章中提到的基于自学知识的训练方案有什么好处？
该训练方案显著减少了标注偏差和稀疏标注的影响，提升了场景图生成的效果。
