探索大型基础模型在开放词汇 HOI 检测中的潜力
内容提要
本研究提出了KI2HOI框架，结合视觉语言模型和大型语言模型，改进了零样本人物-物体交互检测。通过动词提取和交互表示解码器，该模型在HICO-DET和V-COCO数据集上表现优异，提升了交互理解和检测性能。
延伸解读
KI2HOI 的核心创新
KI2HOI 框架的核心在于整合视觉语言模型和大型语言模型，以改进零样本人物-物体交互检测。它通过动词提取解码器将动词查询转换为特定交互类别的表示，并设计了基于视觉语义的动词特征学习模块。此外，交互表示解码器利用交叉注意机制提取信息丰富的区域，从而提升交互理解和检测性能。这些设计使模型在零样本和全监督设置下均优于先前方法。
实验表现与数据集
在 HICO-DET 和 V-COCO 数据集上的大量实验表明，KI2HOI 在零样本和全监督设置上均优于以前的方法。这验证了结合视觉语言模型和大型语言模型在开放词汇 HOI 检测中的有效性，并为后续研究提供了基准。实验结果的优越性凸显了框架在交互理解方面的改进。
相关研究背景
文章提及了多个相关研究，如基于 CLIP 的 HOI 检测框架、基于视觉-语言知识蒸馏的端到端零样本 HOI 检测框架等。这些工作从不同角度探索了 HOI 检测，包括利用预训练模型、弱监督学习、知识蒸馏等。KI2HOI 在此基础上进一步整合视觉语言和大型语言模型，推动了开放词汇 HOI 检测的发展。
Q&A
KI2HOI框架的主要功能是什么？
KI2HOI框架结合视觉语言模型和大型语言模型，改进了零样本人物-物体交互检测。
该研究如何提升交互理解和检测性能？
通过动词提取解码器和交互表示解码器，利用交叉注意机制提取信息丰富的区域。
KI2HOI框架在数据集上的表现如何？
在HICO-DET和V-COCO数据集上，该模型在零样本和全监督设置上优于以前的方法。
动词提取解码器的作用是什么？
动词提取解码器将动词查询转换为特定交互类别的表示形式。
KI2HOI框架的创新点有哪些？
框架的创新点包括基于视觉语义的动词特征学习模块和交互表示解码器的交叉注意机制。
该研究的实用价值体现在哪里？
该模型在HICO-DET数据集上表现卓越，具有很好的实用价值，能够识别新的人-物交互类别。
