当尺度感知调制遇上 Transformer，会碰撞出怎样的火花?
💡
原文中文，约4500字，阅读约需11分钟。
📝
内容提要
本文介绍了一种新的基础模型SMT，它以更低的参数量和计算量取得了大幅性能的提升。SMT基于卷积计算设计了一个新颖的轻量尺度感知调制单元SAM，进一步增强卷积调制能力。SMT提出了一种进化混合网络EHN，实现更优异的性能。在ImagNet、COCO以及ADE20k等任务上都验证了该模型的有效性。
🎯
关键要点
- 本文介绍了一种新的基础模型SMT，具有更低的参数量和计算量，性能大幅提升。
- SMT基于卷积计算设计了轻量尺度感知调制单元SAM，增强卷积调制能力。
- SMT提出了进化混合网络EHN，有效模拟网络从浅层到深层的依赖关系转变。
- SMT在ImageNet、COCO和ADE20k等任务上验证了其有效性，ImageNet-1k上达到了88.1%的精度。
- 针对多层级网络架构，设计高效的注意力计算机制是重要的。
- SMT框架包括四个阶段，采用SAM和多头自注意力（MSA）块建模局部到全局依赖关系的转变。
- 多头混合卷积MHMC能够捕捉多个尺度的空间特征，增强长距离依赖关系建模能力。
- 多尺度感知聚合SAA增强了MHMC中多个头之间的信息交互，提升特征表示能力。
- 进化混合网络通过重新分配计算模块，提升了计算性能，模拟了依赖关系的变化。
- SMT在分类、目标检测和分割任务上均表现优异，具有强大的可扩展性。
- 未来的研究将继续探索更高效的计算模块，以推动视觉基础模型的发展。
➡️
