超越平均：个体化视觉扫视路径预测
内容提要
本文评估了人类扫视路径预测模型，提出了新的评估指标并比较了现有模型的性能。引入MIT/Tuebingen Saliency Benchmark数据集作为基准，研究了Eyettention和EyeFormer模型，展示了它们在视觉扫描路径预测中的优势。此外，基于卷积神经网络的方法探讨了专家与新手在阅读牙齿放射图时的眼动差异，提出了HAT模型和AbSViT模型，推动了视觉任务导向注意的研究。
延伸解读
评估指标与基准数据集的意义
文章指出，以往评估扫视路径预测模型的指标存在被忽略的问题，因此提出了新的评估指标方法，并引入MIT/Tuebingen Saliency Benchmark作为基准。这意味着该领域正从单纯追求预测精度转向更全面、可比较的评估体系。对于研究者而言，采用统一基准和更合理的指标，有助于更公平地衡量模型性能，避免因指标缺陷而高估或低估模型能力。
个体化预测与任务导向注意的进展
Eyettention通过交叉序列注意对齐词序列和注视序列，EyeFormer结合Transformer与深度强化学习预测个体用户的扫描路径，HAT则用单一模型预测两种注意力控制。这些工作显示，扫视路径预测正从群体平均转向个体化，并尝试统一不同形式的注意力。同时，基于CNN的方法探索专家与新手阅读牙齿放射图的眼动差异，AbSViT作为通用骨干网络，表明任务导向注意和视觉语言任务正成为重要方向。
搜索终止与目标缺失场景的补充
文章提到基于FFMs的数据驱动计算模型，用于解决人类搜索终止问题，并预测图像中不存在目标时的扫描路径。在COCO-Search18数据集上，该方法提高了目标缺失搜索行为的预测水平。这一方向补充了传统扫视路径预测多关注目标存在场景的不足，对理解真实搜索行为中的终止决策具有参考价值，也提示未来研究需关注搜索失败或目标缺失情况下的眼动模式。
Q&A
Eyettention模型的主要特点是什么？
Eyettention模型通过交叉序列注意机制同时处理词序列和注视序列，能够实现两个序列的对齐，表现优于现有模型。
EyeFormer模型的应用领域有哪些？
EyeFormer模型可以预测个体用户的视觉扫描路径，广泛应用于图形用户界面布局优化等领域。
HAT模型在计算注意力方面有什么创新？
HAT模型通过新颖的基于转换器的架构和简化的凹面视网膜，设定了计算注意力的新方向，能够更好地预测人类行为。
AbSViT模型的主要用途是什么？
AbSViT模型在视觉语言任务中表现良好，可用作分类、语义分割和模型稳健性等多种应用的通用骨干网络。
本文提出的新评估指标有什么重要性？
新的评估指标能够更全面地比较现有模型的性能，解决以往指标所忽略的问题，提升扫视路径预测的准确性。
卷积神经网络在眼动行为研究中的应用是什么？
基于卷积神经网络的方法探讨了专家与新手在阅读牙齿放射图时的眼动差异，能够准确区分两者的眼动行为。
