探索用于零样本 HOI 检测的条件多模态提示
内容提要
本文介绍了一种名为MP-HOI的多模态人-物交互检测器，能够通过文本描述进行开放世界中的交互检测。研究构建了Magic-HOI数据集和高质量合成数据集SynHOI，以优化检测性能。MP-HOI在多个基准测试中表现优异，具备强大的零样本能力，并在HICO-DET和V-COCO数据集上超越现有方法。
延伸解读
MP-HOI 的零样本泛化机制
MP-HOI 通过统一的对比损失，将人-物交互检测转化为多模态提示与对象/交互之间的相似度学习。这种方法使其能够利用文本描述进行开集泛化，并处理描述中的高歧义，从而在开放世界中检测交互。其词汇量超过现有专家模型的30倍以上，表明该模型在类别覆盖上具有显著优势。
Magic-HOI 与 SynHOI 数据集的作用
研究构建了大规模 HOI 数据集 Magic-HOI 用于训练，并提出了自动化流程生成逼真的 HOI 图像，提供了包含10万图像的高质量合成数据集 SynHOI。这两个数据集共同支持 MP-HOI 从大规模数据中学习可推广和可传递的对象/交互表示，从而提升检测性能。
MP-HOI 在基准测试中的表现
MP-HOI 在真实世界场景中展现出卓越的零样本能力，并在多个基准测试中达到新的最先进性能。具体而言，在 HICO-DET 和 V-COCO 数据集上，MP-HOI 超越了现有方法，证明了其有效性和优越性。
Q&A
MP-HOI是什么？
MP-HOI是一种多模态人-物交互检测器，能够通过文本描述进行开放世界中的交互检测。
Magic-HOI数据集的作用是什么？
Magic-HOI数据集用于促进MP-HOI的训练，优化检测性能。
MP-HOI在基准测试中的表现如何？
MP-HOI在多个基准测试中表现优异，具备强大的零样本能力，并在HICO-DET和V-COCO数据集上超越现有方法。
MP-HOI如何处理高歧义的描述？
MP-HOI通过处理描述中的高歧义，实现对开放世界中的HOI的检测。
SynHOI数据集的特点是什么？
SynHOI是一个高质量合成数据集，包含100K图像，用于优化MP-HOI的检测性能。
MP-HOI的词汇量与现有模型相比如何？
MP-HOI的词汇量超过现有专家模型的30倍以上。
