U-MixFormer:混合注意力的类 UNet Transformer 进行高效语义分割
原文约500字/词,阅读约需1分钟。发表于: 。我们提出了一种新的变换器解码器 U-MixFormer,基于 U-Net 结构设计的,用于高效的语义分割。通过在编码器和解码器阶段之间利用侧连接作为特征查询,我们的方法与以前的变换器方法有所不同。此外,我们创新地混合来自各个编码器和解码器阶段的分层特征图,形成一个统一的键和值表示,从而产生我们独特的混合注意模块。大量实验证明,U-MixFormer 在各种配置上表现出色,并且在...
通过在2D TransUNet体系结构的基础上建立在nnU-Net体系结构的基础上,探索Transformers在编码器和解码器设计中的潜力。引入了一个从CNN特征图中令图像块标记化的Transformer编码器和一个自适应地利用候选区域和U-Net特征之间的交叉注意力进行候选区域精炼的Transformer解码器。实验证明,不同的医学任务受益于不同的体系结构设计。TransUNet在医学应用中超越竞争对手。