从观察者注视中学习：基于人物 - 物体交互识别的零样本注意预测
内容提要
本文设计了一个框架用于检测和预测视频中的人-物交互，提出了融合人类注视信息和视觉特征的时空变换器。研究了注视与深度学习的结合，开发了新模型Gazeformer和GHO-Diffusion，显著提升了图像字幕和人-物交互检测的性能，并通过实验验证了其在多个数据集上的有效性。
延伸解读
注视信息如何提升人-物交互识别
文章指出，将人类注视信息与场景背景、人物和物体的视觉外观融合，能有效提升人-物交互检测与预测的性能。例如，注视辅助图像字幕模型通过将注视集成到基于注意力的LSTM中，在COCO/SALICON数据集上改善了字幕质量。这表明注视数据可以补充机器注意力，帮助模型更准确地聚焦于交互区域。
零样本注视预测的挑战与进展
文章提出了ZeroGaze新任务，即预测未曾搜索过的物体的视线，并开发了Gazeformer模型。该模型利用语义相似性进行Scanpath预测，采用基于变压器的编码器-解码器架构，在零样本设置中表现出明显优越性，同时在标准视觉搜索任务中比现有模型更快。这为注视预测在未知场景下的应用提供了新思路。
GazeHOI数据集与扩散模型的应用
文章介绍了首个注视引导的手-物体交互数据集GazeHOI，包含479个序列，平均时长19.1秒，812个子序列和33个物体。基于此，提出了分层框架GHO-Diffusion，通过同时建模注视、手和物体的交互，实验验证了数据集的独特性和方法的有效性。这为手-物体交互合成任务提供了新的基准和工具。
硬负样本采样与上下文关注框架的贡献
针对人-物交互识别中的误分类问题，文章提出了硬负样本采样策略，并在V-COCO和HICO-DET数据集上验证了其有效性。此外，上下文关注框架通过学习上下文感知特征，自适应选择相关实例中心的上下文信息，在三个数据集上超越了现有最佳方法。这些方法共同提升了交互检测的鲁棒性和准确性。
Q&A
什么是Gazeformer模型，它的主要优势是什么？
Gazeformer模型是一种基于变压器的编码器-解码器架构，主要优势在于利用语义相似性进行Scanpath预测，表现优越且速度更快。
如何通过注视信息提升图像字幕的性能？
通过将人的注视信息集成到基于注意力的LSTM结构中，可以选择性地分配算法到注视和非注视的图像区域，从而提升图像字幕的性能。
GazeHOI数据集的特点是什么？
GazeHOI数据集包含479个序列，平均持续时间为19.1秒，建模注视、手和物体的交互，具有独特性。
本文提出了哪些方法来识别人-物交互？
本文提出了基于人体姿态、注视和距离等因素的方法，并引入硬负样本采样策略来解决误分类问题。
GGNet模型如何改善人机协作体验？
GGNet模型通过快速的注视步骤和逐步的凝视步骤自适应地模拟操作感知点，聚合操作点特征以预测人-物交互，显著提升了协作体验。
上下文关注框架的作用是什么？
上下文关注框架通过学习上下文感知特征，选择相关实例中心的上下文信息，以突出可能包含人-物交互的图像区域，从而提升检测效果。
