OpenPSG：离AGI再进一步，首个开放环境关系预测框架 | ECCV'24 - 晓飞的算法工程笔记
原文中文，约8300字，阅读约需20分钟。发表于：。全景场景图生成（PSG）的目标是对对象进行分割并识别它们之间的关系，从而实现对图像的结构化理解。以往的方法主要集中于预测预定义的对象和关系类别，因此限制了它们在开放世界场景中的应用。随着大型多模态模型（LMMs）的快速发展，开放集对象检测和分割已经取得了重大进展，但PSG中的开放集关系预测仍然未被探
全景场景图生成（PSG）旨在分割图像中的对象并识别其关系。传统方法仅适用于封闭集，无法处理开放集关系。本文提出OpenPSG，结合预训练模型，实现开放集关系预测。通过引入关系查询变换器，提取对象对特征并判断关系，显著提升预测效率。实验结果表明，OpenPSG在开放集关系预测和全景场景图生成方面表现优异。
