EfficientMod：微软出品，高效调制主干网络 | ICLR 2024 - 晓飞的算法工程笔记
内容提要
EfficientMod是一种高效模型，融合了卷积和注意力机制，具有高效性和强大的表示能力。它在图像分类、目标检测、实例分割和语义分割等任务上表现出色，性能更好且计算复杂度更低。通过逐元素乘法融合特征和线性投影进行通道间的信息交流，EfficientMod在各种任务中都取得了非常好的结果。
延伸解读
调制机制的高效化设计
EfficientMod 的核心创新在于对调制机制的简化。VAN 和 FocalNet 等调制模型虽理论高效，但存在冗余操作和碎片化问题，导致实际推理速度慢。EfficientMod 通过融合全连接层、简化上下文建模分支（仅使用一个深度可分离卷积和线性投影），减少了零散操作，从而在保持调制机制动态性和大感受野的同时，显著提升了推理效率。
与 MBConv 的对比优势
EfficientMod 模块与 MobileNetV2 的 MBConv 模块相比，深度可分离卷积的通道数更少（分别为 c 和 rc，r 通常为 6），因此计算量更小。实验表明，在相近参数和 FLOPs 下，EfficientMod 在 GPU 和 CPU 上均比 MBConv 更快，且准确率更高。这得益于其调制设计带来的动态特性，以及更轻量的深度卷积操作。
实际部署的优化指南
论文提供了实际部署建议：将更多参数移至特征分辨率较小的后期阶段以减少 FLOPs；仅在最后两个阶段引入注意力模块以控制计算量；使用 Repeat 操作匹配通道数，以在 CPU 和 GPU 间取得延迟折衷。这些指南基于 EfficientMod 的线性复杂度特性，有助于在边缘设备上实现高效推理。
下游任务中的表现
在目标检测、实例分割和语义分割任务中，EfficientMod 均展现出优越性能。例如，在 ADE20K 语义分割上，纯卷积 EfficientMod-s 的 mIoU 比 PoolFormer 高 6.3 个百分点，甚至超过一些使用注意力的方法。混合设计进一步提升了性能，表明大感受野对高分辨率任务尤为重要，而注意力模块可作为现成组件增强高效网络。
Q&A
EfficientMod的主要特点是什么？
EfficientMod融合了卷积和注意力机制，具有高效性和强大的表示能力。
EfficientMod在图像分类任务中的表现如何？
EfficientMod在图像分类任务中表现优异，准确率超过了其他调制方法。
EfficientMod的计算复杂度如何？
EfficientMod的计算复杂度与输入图像尺寸呈线性关系，强调局部特征交互。
EfficientMod与传统卷积网络相比有什么优势？
EfficientMod在计算效率和表示能力上优于传统卷积网络，尤其在高分辨率输入任务中表现突出。
EfficientMod在目标检测任务中的表现如何？
EfficientMod在目标检测任务中表现优于其他方法，尤其在没有自注意力的情况下。
EfficientMod的设计理念是什么？
EfficientMod的设计理念是通过高效调制机制实现卷积和自注意力的优良特性，优化计算效率。
