Mansformer：用于图像去模糊及其它任务的高效混合注意力转换器
原文中文，约400字，阅读约需1分钟。发表于：。我们提出了 Mansformer，它是一种结合了多种自注意力、门控和多层感知的混合加权 Transformer，通过对张量形状和维度进行精心调整，将典型的二次复杂度自注意力分解成四次线性复杂度操作，并利用类似 Squeeze-and-Excitation Networks 的架构实现了这些不同类型自注意力的自适应融合，通过提出的门控 - dconv MLP 将两阶段的...
该文章介绍了三种新的注意力机制，比标准的多头注意力更高效和具有更好的学习能力，提高了Transformer模型的性能和广泛部署能力。通过评估不同数据集，证明了这些注意力机制的有效性。
