本研究提出了一种视觉注意力再分配（VAR）方法，旨在解决大规模多模态模型在处理视觉信息时对不相关标记的过度关注。该方法优化了模型的注意力机制，增强了对关键视觉信息的聚焦，从而提升了多个视觉任务的表现，无需额外的训练或推理步骤。

本文介绍了一种基于视频的细粒度物体分类任务及新数据集，研究了多种深度卷积神经网络方法的适应性。提出的双卷积神经网络在多个图像分类基准测试中表现优异，结合视觉注意力和概率图模型，提高了细粒度分类的准确性和效率。

本文综述多模态大模型与视觉注意力研究，涵盖DetGPT推理型物体检测、Video-ChatGPT视频对话、PoseGPT三维人体姿态推理、MultiModal-GPT多模态指令对话，以及利用人类注视提升图像字幕、视频字幕和文本显著性的方法，并探索合成扫视路径替代真实注视数据。

该文汇集多项计算机视觉与神经科学交叉研究，涵盖生成模型的局限与图形渲染反转、视网膜神经约束对表征的影响、模拟人眼双流视觉的模型（其网络分支对应视觉皮层背腹通路）、DNN与人类视觉感知及无架构视觉学习的关系、神经网络连接的计算角色评估、基于注意力机制的新面孔生成、生成类人扫描路径的神经视觉注意力算法，以及多模态模型VISION对fMRI反应的预测（准确度超现有技术45%）。

该研究提出了一种新的视觉文本关联方法，利用视觉和文本注意力以及交叉模态最难和半硬负对挖掘。在实验中，该方法在CUHK-PEDES数据集上取得了55.32%的top1得分，成为了最先进的方法。同时，在COCO字幕数据集上验证了半硬匹配挖掘方法的有效性和互补性。