MS-DETR: 使用混合监督实现高效的 DETR 训练

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

本论文介绍了一种改进的DETR检测器,使用简洁设计和全局交叉注意力计算,通过添加盒子到像素相对位置偏差项和基于遮蔽图像模型的骨干预训练,取得了显著改进。预训练使用Object365数据集,达到63.9的平均精度(mAP)。

🎯

关键要点

  • 本论文介绍了一种改进的DETR检测器,采用简洁设计和全局交叉注意力计算。

  • 改进的DETR没有重新引入多尺度和局部性的架构偏好。

  • 提出了两种技术来弥补多尺度特征图和局部性约束缺失的问题。

  • 第一种技术是将盒子到像素相对位置偏差项添加到交叉注意力公式中。

  • 第二种技术是基于遮蔽图像模型的骨干预训练,帮助学习细粒度定位能力的表示。

  • 结合这些技术和最新的训练方法,改进的DETR检测器取得了显著的性能提升。

  • 使用Object365数据集进行预训练,达到了63.9的平均精度(mAP)。

  • 改进的DETR性能与依赖于多尺度特征图的最先进检测器相媲美。

➡️

继续阅读