SPARO：用于视觉的稳健和组合式 Transformer 编码的选择性注意力
内容提要
本文研究了transformers中的注意机制在视觉和语言任务中的应用，提出了自相关自注意力（CSA）和稀疏注意力机制等改进方法，以提高模型的可解释性和计算效率。这些方法在语义分割、文本推理和视觉跟踪等任务中显著提升了性能。SPARC方法通过细粒度多模态表示改善了图像和文本的匹配效果。
延伸解读
注意力机制在视觉任务中的多样化改进
文章梳理了多种针对视觉任务的注意力改进方法，包括自相关自注意力（CSA）、稀疏注意力、空间感知自注意力等。这些方法分别针对语义分割、TextVQA、视觉跟踪等任务，通过调整注意范围或引入稀疏性来提升性能。例如，CSA增强了CLIP在零样本语义分割上的表现，而稀疏注意力结合双头预测器解决了视觉跟踪中背景干扰的问题。这些案例表明，注意力机制的适应性调整是提升视觉任务效果的关键方向。
SPARC：细粒度多模态表示提升匹配效果
SPARC方法通过结合精细化的序列损失和全局对比损失，同时编码全局与局部信息，从而改善图像和文本的匹配。评估显示，该方法在图像级任务（如分类）和区域级任务（如检索、目标检测和分割）上均带来性能提升，并增强了模型生成图像描述的能力。这提示我们，多模态预训练中兼顾粗粒度和细粒度信息有助于下游任务的泛化。
效率与性能的平衡：稀疏注意力的实践价值
文章提到，在视觉跟踪任务中引入稀疏注意力机制和双头预测器，不仅解决了自注意力关注背景信息的问题，还在LaSOT、GOT-10k等数据集上取得显著性能提升，同时将训练时间相比TransT缩短了75%。这表明，针对特定任务设计稀疏注意力可以在不牺牲性能的前提下大幅提升计算效率，为实际部署提供了参考。
Q&A
自相关自注意力（CSA）机制有什么优势？
自相关自注意力（CSA）机制增强了CLIP在语义分割方面的潜力，显著优于现有的SoTA结果。
SPARC方法如何改善图像和文本的匹配效果？
SPARC方法结合精细化的序列损失和全局图像与文本嵌入的对比损失，改善了图像和文本的匹配效果。
稀疏注意力机制在视觉跟踪任务中解决了什么问题？
稀疏注意力机制解决了自注意力机制关注背景信息的问题，显著提升了视觉跟踪性能。
新型空间感知自注意力模型的主要贡献是什么？
新型空间感知自注意力模型有效推理图像中的文本内容，改进了TextVQA和ST-VQA的关键指标。
如何提高模型的可解释性和计算效率？
通过发展适应性方法，如研究注意范围和稀疏结构化dropout等，可以提高模型的可解释性和计算效率。
SPARC方法在不同任务中的表现如何？
SPARC方法在依赖粗粒度信息的图像级任务和依赖细粒度信息的区域级任务上均改善了性能。
