视觉 Transformer 中的区域与稀疏注意力融合
原文中文,约300字,阅读约需1分钟。发表于: 。本研究提出了一种新的混合视觉 transformer 模型 (ACC-ViT),运用区域关注和稀疏关注相结合的方式,动态地集成了局部和全局信息,同时保留了分层结构,并在常见的视觉任务中表现出色。
本文提出了一种基于学习的、实例相关的注意力机制来加速Vision Transformers网络,通过限制自注意力操作在空间上邻近的一组Token上,并评估Token之间的连接得分来解决语义信息丧失问题。该方法可以显著减少计算量,降低Vision Transformers网络的FLOPs超过60%。