Sekyoro的博客小屋
·
Transformer与注意力机制（二）：多种注意力模块
💡
原文英文，约2000词，阅读约需8分钟。
📝
内容提要
该文章介绍了不同类型的注意力模块及其代码，包括SENet、BAM、DANet、CBAM、Non-Local、SKNet、Criss-Cross Attention、Coordinate Attention和CA。这些模块常用于多尺度网络。
🎯
关键要点
- 文章介绍了多种注意力模块及其代码，包括SENet、BAM、DANet、CBAM、Non-Local、SKNet、Criss-Cross Attention、Coordinate Attention和CA。
- SENet通过学习通道之间的相关性来实现通道注意力，效果显著。
- BAM模块结合了通道注意力和空间注意力，增强了特征表示。
- DANet采用双重注意力机制，结合位置和通道注意力。
- CBAM模块分为通道注意力和空间注意力，分别处理特征的不同维度。
- Non-Local模块通过全局上下文信息增强特征表示。
- SKNet通过多分支卷积和自适应加权机制实现注意力。
- Criss-Cross Attention模块结合了行和列的注意力机制，增强了特征的空间关系。
- Coordinate Attention模块结合了通道和空间注意力，考虑了位置关系。
- 这些注意力模块通常用于多尺度网络中的不同块或单元。
➡️
