LaViT:这也行,微软提出直接用上一层的注意力权重生成当前层的注意力权重 | CVPR 2024 - 晓飞的算法工程笔记
原文中文,约8600字,阅读约需21分钟。发表于: 。Less-Attention Vision Transformer利用了在多头自注意力(MHSA)块中计算的依赖关系,通过重复使用先前MSA块的注意力来绕过注意力计算,还额外增加了一个简单的保持对角性的损失函数,旨在促进注意力矩阵在表示标记之间关系方面的预期行为。该架构你能有效地捕捉了跨标记的关联,
该文章介绍了一种名为LA-ViT的新型视觉Transformer架构,通过引入少注意力层和注意力残差模块来减少注意力计算的复杂性和饱和问题。实验证明,LA-ViT在各种视觉任务中表现出色,并具有较低的计算复杂度。