TSP-Detection：CMU 提出抛弃交叉注意力的 DETR 变体 | ICCV 2021 - 晓飞的算法工程笔记
原文中文，约9500字，阅读约需23分钟。
📝
内容提要
这篇文章介绍了基于Transformer的目标检测方法DETR，提出了两种改进方法：TSP-FCOS和TSP-RCNN，以解决DETR训练时间收敛缓慢的问题。这两种方法在收敛速度和检测精度方面优于原始DETR和其他基线模型。文章还讨论了DETR的优化困难原因，并提出了删除交叉注意力模块和设计新的二分匹配方案来加速训练和提高检测性能。
❓
Q&A
DETR的训练时间为何如此漫长？
DETR的训练时间漫长主要是由于匈牙利损失和交叉注意力模块导致的收敛缓慢。
TSP-FCOS和TSP-RCNN有什么主要区别？
TSP-FCOS是基于单阶段检测器FCOS的改进，而TSP-RCNN结合了两阶段检测器Faster RCNN的优点，提供更高的检测精度。
如何提高DETR的收敛速度？
通过删除交叉注意力模块和设计新的二分匹配方案，可以显著提高DETR的收敛速度。
TSP-FCOS是如何处理多级特征的？
TSP-FCOS引入了一种感兴趣特征选择机制，帮助Transformer编码器有效处理多级特征。
TSP-RCNN在检测精度上有什么优势？
TSP-RCNN结合了两阶段检测器的优点，能够更准确地检测目标，尤其是在小目标检测方面表现优异。
DETR的交叉注意力模块有什么问题？
DETR的交叉注意力模块在训练过程中稀疏性增加，导致其收敛速度变慢，影响模型性能。
🏷️
