晓飞的算法工程笔记
·
TSP-Detection：CMU 提出抛弃交叉注意力的 DETR 变体 | ICCV 2021 - 晓飞的算法工程笔记
💡
原文中文，约9500字，阅读约需23分钟。
📝
内容提要
这篇文章介绍了基于Transformer的目标检测方法DETR，提出了两种改进方法：TSP-FCOS和TSP-RCNN，以解决DETR训练时间收敛缓慢的问题。这两种方法在收敛速度和检测精度方面优于原始DETR和其他基线模型。文章还讨论了DETR的优化困难原因，并提出了删除交叉注意力模块和设计新的二分匹配方案来加速训练和提高检测性能。
🎯
关键要点
- DETR 是基于 Transformer 的目标检测方法，但训练时间收敛缓慢。
- 论文提出 TSP-FCOS 和 TSP-RCNN 两种改进方法，显著提高收敛速度和检测精度。
- DETR 收敛缓慢的原因主要是匈牙利损失和交叉注意力模块。
- 删除交叉注意力模块后，DETR 对小物体的检测性能显著提升。
- TSP-FCOS 引入了感兴趣特征选择机制，帮助处理多级特征。
- TSP-RCNN 结合了两阶段检测器的优点，进一步提高检测精度。
- 论文设计了新的二分匹配方案，以加速训练中的收敛。
- 实验结果表明，TSP-FCOS 和 TSP-RCNN 在 COCO 2017 数据集上表现优于原始 DETR 和其他基线模型。
- TSP-FCOS 和 TSP-RCNN 的收敛速度明显快于原始 DETR。
- 模型分析显示，集合预测损失和位置编码对 TSP 机制至关重要。
➡️
