通过填补领域差距来检测稀有的人 - 物交互的即插即用方法
内容提要
本文提出了一种基于transformer的特征提取器KI2HOI，改进了零样本人物-物体交互检测。通过动词提取解码器和视觉语义模块，该模型在HICO-DET和V-COCO数据集上表现优异。同时，采用虚拟图像学习和功能相似性方法，解决了类别不平衡问题，显著提升了检测精度。
延伸解读
零样本HOI检测的挑战与创新
零样本人物-物体交互检测要求模型识别训练中未出现的交互类别，这对特征提取和知识迁移提出了更高要求。本文提出的KI2HOI框架通过动词提取解码器和视觉语义模块，有效整合视觉语言模型的知识，避免了多实例特征混合，从而在零样本设定下提升了检测性能。
类别不平衡问题的解决策略
人物-物体交互检测中类别分布不平衡是一个常见问题，导致模型对稀有类别识别效果差。本文采用虚拟图像学习方法，通过生成虚拟样本和伪标签来平衡类别分布，并结合真实图像训练，显著提升了检测精度，为处理长尾分布提供了新思路。
功能相似性方法的增益与局限
基于人与物体功能相似性的方法利用视觉特征、相对空间方向和功能相似物体参与相似交互的先验知识，在HOI数据集上实现了2.5%的平均精度绝对增益，并支持零样本检测。然而，该方法依赖于功能相似性的准确建模，在复杂场景中可能受限。
Q&A
KI2HOI模型的主要创新点是什么？
KI2HOI模型通过动词提取解码器和视觉语义模块，改进了零样本人物-物体交互检测，能够有效整合视觉语言模型的知识。
如何解决人-物交互检测中的类别不平衡问题？
通过虚拟图像学习方法，结合虚拟图像和真实图像训练模型，构建伪标签，从而解决类别分布不平衡的问题。
KI2HOI在HICO-DET和V-COCO数据集上的表现如何？
KI2HOI在HICO-DET和V-COCO数据集上表现优异，超越了以前的方法，尤其在零样本和全监督设置上。
CLIP文本编码器在KI2HOI中起什么作用？
CLIP文本编码器提供先验知识，增强交互理解，并用于初始化线性分类器，以支持零样本学习。
基于人与物体功能相似性的方法有什么效果？
该方法在HOI数据集上实现了2.5%的平均精度增益，提升了零样本HOI检测的效果。
KI2HOI模型的特征提取机制是怎样的？
KI2HOI模型采用关注机制和基于查询的检测，避免特征混合，有效提取上下文重要特征。
