北大王选所：让多模态大模型更懂人类在做什么｜ECCV 2024
内容提要
北京大学提出多模态提示学习方法，利用提示词教大模型理解人物交互关系，通过视觉空间线索和条件提示提高泛化能力。研究团队还提出零样本人物交互检测新框架，实验证明在未见类别上取得最佳性能，具有潜力。
延伸解读
零样本人物交互检测的挑战
文章指出，现有研究多集中在封闭环境，模型在开放环境中面对未见过的人物交互类型时表现不佳。例如，先前的检测器在平衡已见和未见类别时遇到困难，导致调和平均值较低，且在未见类别上表现较差。CMMP方法旨在解决这一平衡问题，提升模型在开放环境中的泛化能力。
CMMP如何利用视觉空间线索
CMMP通过条件视觉提示将空间和交互性感知的知识注入图像编码器。具体来说，它结合了实例级视觉先验（如边界框、置信度分数和语义编码）和交互的全局空间模式（通过K-means聚类得到），以帮助模型识别未见的人物-物体交互概念。这些知识通过轻量级适配器融入图像编码器，增强了区域级二阶语义的理解。
语言提示与一致性约束的作用
在文本分支，CMMP采用带一致性约束的语言感知提示学习。该约束确保已见和未见类别的学习原型之间保持合理的分离边界，避免过度偏离。通过正则化对比学习损失，减少可学习语言提示与人工设计提示的特征表示差异，从而保留CLIP的通用知识并提高对未见类别的泛化能力。
实验验证与性能表现
在HICO-DET数据集上，CMMP在五种零样本设置中均在未见类别上取得最佳性能。使用ViT-L/14骨干网络时，模型在所有划分中都表现最优，表明其在视觉特征空间关系提取和交互分类原型学习方面具有卓越能力。此外，CMMP有效缓解了已见和未见类别之间的性能差异，展示了泛化到新交互类别的潜力。
Q&A
CMMP方法的主要功能是什么？
CMMP方法利用提示词教大模型理解人物交互关系，提升对未见类别的泛化能力。
CMMP如何解决未见类别的识别问题？
CMMP通过视觉空间线索和条件提示学习，帮助识别未见的人物-物体交互概念。
研究团队提出的零样本人物交互检测框架包含哪些子任务？
框架分为交互性感知的视觉特征提取和可泛化的交互分类两个子任务。
CMMP在实验中表现如何？
CMMP在所有零样本设置上都在未见类上取得了最佳性能，证明了其有效性。
CMMP方法如何提高模型的泛化能力？
通过一致性约束和条件提示，CMMP确保已见和未见类别之间的合理分离，提升泛化能力。
CMMP方法的创新点是什么？
CMMP方法通过条件多模态提示和视觉空间线索的结合，提供了一种新的范式来检测人物交互关系。
