SMCA：港中文提出注意力图校准的DETR加速方案 | ICCV 2021 - 晓飞的算法工程笔记
💡
原文中文，约7500字，阅读约需18分钟。
📝
内容提要
该文章介绍了一种名为Spatially Modulated Co-Attention（SMCA）的机制，用于加速目标检测模型DETR的收敛速度。SMCA通过在初始边界框位置给予较高的协同注意力响应值的约束来改进DETR的回归感知协同注意力。研究人员还将SMCA扩展为多头注意力和尺度选择注意力，以进一步提高DETR的性能。实验证明，SMCA可以显著加快DETR的训练速度，并在COCO 2017数据集上取得了优于SOTA模型的性能。
🎯
关键要点
-
提出了一种名为空间调制协同注意（SMCA）的机制，用于加速目标检测模型DETR的收敛速度。
-
SMCA通过在初始边界框位置给予较高的协同注意力响应值的约束来改进DETR的回归感知协同注意力。
-
SMCA扩展为多头注意力和尺度选择注意力，以进一步提高DETR的性能。
-
实验证明，SMCA可以显著加快DETR的训练速度，并在COCO 2017数据集上取得了优于SOTA模型的性能。
-
DETR通过消除手工设置的锚框和非极大值抑制，简化了目标检测流程，但收敛速度较慢。
-
SMCA动态预测每个对象查询对应的框的初始中心和尺寸，生成类高斯权重图以聚合相关信息。
-
基础版SMCA在50个周期时达到41.0 mAP，108个周期时达到42.7 mAP。
-
完整版SMCA集成了多尺度特征和多头空间调制，在50个周期时达到43.7 mAP，108个周期时达到45.6 mAP。
-
SMCA通过位置约束的目标回归来加速DETR的收敛。
-
引入尺度内自注意力机制以提高多尺度视觉特征之间的信息传播。
-
SMCA使用可学习的尺度注意力机制自动选择每个框的尺度，以提高检测精度。
-
SMCA的协同注意力在预测的边界框位置周围的权重更大，从而提高收敛速度。
➡️
