BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 -

Mansformer:用于图像去模糊及其它任务的高效混合注意力转换器

我们提出了 Mansformer,它是一种结合了多种自注意力、门控和多层感知的混合加权 Transformer,通过对张量形状和维度进行精心调整,将典型的二次复杂度自注意力分解成四次线性复杂度操作,并利用类似 Squeeze-and-Excitation Networks 的架构实现了这些不同类型自注意力的自适应融合,通过提出的门控 - dconv MLP 将两阶段的 Transformer 设计合并为一阶段,主要用于图像去模糊,经过广泛的定量和定性评估,表明该方法在远远超过简单去模糊的最先进方法方面表现出色,源代码和训练模型将提供给公众。

该文章介绍了三种新的注意力机制,比标准的多头注意力更高效和具有更好的学习能力,提高了Transformer模型的性能和广泛部署能力。通过评估不同数据集,证明了这些注意力机制的有效性。

Transformer模型 广泛部署 性能提升 有效性 注意力机制

相关推荐 去reddit讨论