晓飞的算法工程笔记
·
TSP-Detection：CMU 提出抛弃交叉注意力的 DETR 变体 | ICCV 2021 - 晓飞的算法工程笔记
内容提要
这篇文章介绍了基于Transformer的目标检测方法DETR，提出了两种改进方法：TSP-FCOS和TSP-RCNN，以解决DETR训练时间收敛缓慢的问题。这两种方法在收敛速度和检测精度方面优于原始DETR和其他基线模型。文章还讨论了DETR的优化困难原因，并提出了删除交叉注意力模块和设计新的二分匹配方案来加速训练和提高检测性能。
关键要点
-
DETR 是基于 Transformer 的目标检测方法，但训练时间收敛缓慢。
-
论文提出 TSP-FCOS 和 TSP-RCNN 两种改进方法，显著提高收敛速度和检测精度。
-
DETR 收敛缓慢的原因主要是匈牙利损失和交叉注意力模块。
-
删除交叉注意力模块后，DETR 对小物体的检测性能显著提升。
-
TSP-FCOS 引入了感兴趣特征选择机制，帮助处理多级特征。
-
TSP-RCNN 结合了两阶段检测器的优点，进一步提高检测精度。
-
论文设计了新的二分匹配方案，以加速训练中的收敛。
-
实验结果表明，TSP-FCOS 和 TSP-RCNN 在 COCO 2017 数据集上表现优于原始 DETR 和其他基线模型。
-
TSP-FCOS 和 TSP-RCNN 的收敛速度明显快于原始 DETR。
-
模型分析显示，集合预测损失和位置编码对 TSP 机制至关重要。
延伸问答
DETR的训练时间为何如此漫长？
DETR的训练时间漫长主要是由于匈牙利损失和交叉注意力模块导致的收敛缓慢。
TSP-FCOS和TSP-RCNN有什么主要区别？
TSP-FCOS是基于单阶段检测器FCOS的改进，而TSP-RCNN结合了两阶段检测器Faster RCNN的优点，提供更高的检测精度。
如何提高DETR的收敛速度？
通过删除交叉注意力模块和设计新的二分匹配方案，可以显著提高DETR的收敛速度。
TSP-FCOS是如何处理多级特征的？
TSP-FCOS引入了一种感兴趣特征选择机制，帮助Transformer编码器有效处理多级特征。
TSP-RCNN在检测精度上有什么优势？
TSP-RCNN结合了两阶段检测器的优点，能够更准确地检测目标，尤其是在小目标检测方面表现优异。
DETR的交叉注意力模块有什么问题？
DETR的交叉注意力模块在训练过程中稀疏性增加，导致其收敛速度变慢，影响模型性能。
