TSP-Detection：CMU 提出抛弃交叉注意力的 DETR 变体 | ICCV 2021 - 晓飞的算法工程笔记
内容提要
这篇文章介绍了基于Transformer的目标检测方法DETR，提出了两种改进方法：TSP-FCOS和TSP-RCNN，以解决DETR训练时间收敛缓慢的问题。这两种方法在收敛速度和检测精度方面优于原始DETR和其他基线模型。文章还讨论了DETR的优化困难原因，并提出了删除交叉注意力模块和设计新的二分匹配方案来加速训练和提高检测性能。
延伸解读
DETR收敛慢的根源：交叉注意力模块
论文通过实验发现，DETR训练收敛缓慢的主要原因是Transformer解码器中的交叉注意力模块。该模块的注意力图稀疏性在训练过程中持续增加，即使100个周期后也未稳定，导致优化困难。相比之下，二分匹配的不稳定性仅在训练早期有影响，约15个周期后作用减弱。这一发现为改进DETR指明了方向：删除交叉注意力可能加速收敛。
仅编码器DETR的潜力与局限
删除交叉注意力后，仅编码器的DETR在整体AP上与原始DETR相当，且在小物体检测上显著更优，但在大物体上表现不佳。论文认为，大物体包含太多潜在可匹配的特征点，滑动点方案难以处理，且单一特征图对不同尺度物体不够鲁棒。这促使作者引入特征金字塔和多级预测来克服弱点。
TSP-FCOS与TSP-RCNN的设计思路
TSP-FCOS借鉴FCOS的一阶段设计，通过FPN产生多级特征，并引入FoI选择机制，用二元分类器筛选有限特征输入Transformer编码器，以控制自注意力的二次复杂度。TSP-RCNN则结合Faster RCNN的两阶段结构，用RPN生成RoI，再经RoIAlign提取特征输入编码器。两者都设计了新的二分匹配方案，利用FCOS或Faster RCNN的GT分配规则加速收敛。
性能表现与权衡
在COCO 2017上，TSP-FCOS和TSP-RCNN收敛速度远快于原始DETR，且检测精度显著优于DETR和其他基线。TSP-RCNN整体性能和小目标检测优于TSP-FCOS，但推理延迟稍高。与增强版DETR-DC5+相比，TSP-RCNN+在大物体检测上仍有差距，可能源于DETR编码器-解码器方案的归纳偏差及更长训练设置。消融实验表明，集合预测损失和位置编码对TSP机制都至关重要。
Q&A
DETR的训练时间为何如此漫长？
DETR的训练时间漫长主要是由于匈牙利损失和交叉注意力模块导致的收敛缓慢。
TSP-FCOS和TSP-RCNN有什么主要区别？
TSP-FCOS是基于单阶段检测器FCOS的改进，而TSP-RCNN结合了两阶段检测器Faster RCNN的优点，提供更高的检测精度。
如何提高DETR的收敛速度？
通过删除交叉注意力模块和设计新的二分匹配方案，可以显著提高DETR的收敛速度。
TSP-FCOS是如何处理多级特征的？
TSP-FCOS引入了一种感兴趣特征选择机制，帮助Transformer编码器有效处理多级特征。
TSP-RCNN在检测精度上有什么优势？
TSP-RCNN结合了两阶段检测器的优点，能够更准确地检测目标，尤其是在小目标检测方面表现优异。
DETR的交叉注意力模块有什么问题？
DETR的交叉注意力模块在训练过程中稀疏性增加，导致其收敛速度变慢，影响模型性能。
