Transformer与注意力机制（二）：多种注意力模块
内容提要
该文章介绍了不同类型的注意力模块及其代码，包括SENet、BAM、DANet、CBAM、Non-Local、SKNet、Criss-Cross Attention、Coordinate Attention和CA。这些模块常用于多尺度网络。
延伸解读
注意力模块的两种主要作用维度
文章介绍的模块可归为通道注意力、空间注意力及两者结合三类。SENet仅关注通道相关性，CBAM则分别处理通道和空间维度，BAM、DANet、Coordinate Attention等同时结合两者。理解这一分类有助于根据任务需求选择模块：若需增强通道特征表达，可优先考虑通道注意力；若需捕捉空间位置关系，则需引入空间或位置注意力。
从全局到局部：感受野的权衡
Non-Local通过全局上下文增强特征，但计算量较大；Criss-Cross Attention将感受野限制在同一行和同一列，降低了复杂度；Axial Attention则分别沿行或列进行注意力计算。这些设计反映了在捕捉长距离依赖与计算效率之间的权衡。实际应用中需根据输入尺寸和计算资源选择，例如高分辨率特征图可能更适合Criss-Cross或Axial Attention。
多分支与自适应加权：SKNet的思路
SKNet通过多个不同卷积核大小的分支提取多尺度特征，并利用注意力机制自适应地融合各分支输出。这种设计让网络能够根据输入动态选择合适尺度的特征，而非固定使用单一卷积核。对于多尺度目标或复杂场景，SKNet提供了一种灵活的特征融合方式，但也会增加参数量和计算开销，需在精度与效率间平衡。
模块集成与多尺度网络
文章指出这些注意力模块通常嵌入到block或unit中，并放置于多尺度网络的不同阶段。这意味着注意力机制并非独立使用，而是作为基础组件的增强。在实际网络设计中，需考虑模块插入的位置、数量以及与其他组件的兼容性。例如，在浅层特征图使用空间注意力可能更有效，而深层则可能更适合通道注意力。
Q&A
SENet注意力模块的核心思想是什么？
SENet通过学习通道之间的相关性，筛选出针对通道的注意力，其核心思想是通过网络根据loss去学习feature map的特征权重，使模型达到更好的结果。SE模块本质上是一种attention机制，可以有效地嵌入到其他分类或检测模型中。
CBAM模块包含哪两部分？它们分别如何处理特征？
CBAM模块分为通道注意力和空间注意力两部分。通道注意力分别对输入特征进行平均池化和最大池化，然后通过共享的全连接层，将输出相加后经过Sigmoid得到通道注意力权重；空间注意力则对通道维度进行平均池化和最大池化，将结果拼接后通过一个卷积层和Sigmoid得到空间注意力权重。
DANet采用了什么样的注意力机制？
DANet采用双重注意力机制，结合了位置注意力和通道注意力。位置注意力模块通过自注意力机制捕捉空间维度上任意两个位置之间的依赖关系；通道注意力模块则捕捉通道维度上任意两个通道之间的依赖关系。两个模块的输出相加得到最终结果。
Criss-Cross Attention的感受野是什么？
Criss-Cross Attention的感受野是与目标像素同一行和同一列的(H + W - 1)个像素，即目标元素的同一行和同一列。它通过行注意力和列注意力结合，增强了特征的空间关系。
Coordinate Attention模块有什么特点？
Coordinate Attention模块在通道注意力的基础上兼顾了位置关系，将通道注意力与空间注意力联合起来。它通过分别沿高度和宽度方向进行池化，生成方向感知的特征图，然后计算注意力权重，从而增强特征表示。
SKNet是如何实现注意力机制的？
SKNet通过多分支卷积和自适应加权机制实现注意力。它使用多个不同卷积核大小的分支提取特征，然后通过全局平均池化、全连接层和Softmax生成每个分支的注意力权重，最后将各分支特征加权求和，实现自适应选择。
