ViTGaze：视觉 Transformer 中的交互特征目光追踪
内容提要
本文介绍了一种新框架，通过时间变换器和VSGaze数据集，联合预测场景中所有人的凝视目标和社交凝视标签。GG-Transformer模型采用自适应扩张分区的自注意力机制和深度卷积层，有效建模长距离依赖性和局部信息。此外，研究探讨了人眼注视追踪在视频字幕生成中的应用，GEAN模型利用注视数据提升生成性能。
延伸解读
VSGaze数据集与多人凝视预测的进展
文章介绍了VSGaze数据集，该数据集包含图像特征和个体的凝视信息，用于训练时间变换器模型，以联合预测场景中所有人的凝视目标和社交凝视标签。模型在VSGaze上训练后，在多人凝视跟踪和社交凝视预测任务上取得了最新成果。这表明VSGaze为多人凝视分析提供了新的基准，推动了该领域的发展。
GG-Transformer：高效建模长距离与局部信息
GG-Transformer通过Glance和Gaze两个并行分支，分别实现自适应扩张分区的自注意力机制和深度卷积层，以补偿局部图像上下文。这种设计旨在高效建模长距离依赖性和局部区域信息，在多个视觉任务和基准测试中表现出优秀性能。这为视觉Transformer处理复杂场景提供了新思路。
GEAN模型：利用注视数据提升视频字幕生成
GEAN模型利用人眼注视追踪数据提供时空注意力，以改善视频字幕生成性能。实验证明，由人眼追踪数据指导的空间注意力确实提升了多个字幕生成方法的表现，并在VAS、LSMDC和Hollywood2等数据集上实现了领先性能。这展示了注视信息在跨模态任务中的潜力。
Q&A
ViTGaze框架的主要功能是什么？
ViTGaze框架通过时间变换器和VSGaze数据集，联合预测场景中所有人的凝视目标和社交凝视标签。
GG-Transformer模型的创新之处在哪里？
GG-Transformer模型采用自适应扩张分区的自注意力机制和深度卷积层，有效建模长距离依赖性和局部信息。
人眼注视追踪如何应用于视频字幕生成？
人眼注视追踪通过GEAN模型提供时空注意力，提升了视频字幕生成的性能。
VSGaze数据集的作用是什么？
VSGaze数据集用于训练模型，以实现多人凝视跟踪和社交凝视预测的最新成果。
GEAN模型如何改善字幕生成性能？
GEAN模型利用人眼注视追踪数据提供生成句子的时空注意力，从而改善多个字幕生成方法的性能。
GG-Transformer模型在视觉任务中的表现如何？
GG-Transformer模型在多个视觉任务和基准测试中表现出了优秀的性能。
