晓飞的算法工程笔记
·
Efficient DETR：别再随机初始化了，旷视提出单解码层的高效DETR | CVPR 2021 - 晓飞的算法工程笔记
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
Efficient DETR是一种新的目标检测框架，结合了密集和稀疏检测。它使用密集先验来初始化目标容器，并弥合了单层和六层解码器之间的差距。在MS COCO和CrowdHuman数据集上的实验结果表明，Efficient DETR仅使用三个编码器层和一个解码器层就能达到与最先进方法相竞争的性能。该论文还探讨了DETR的不同组件的影响，并提出了改进措施以解决其局限性。
🎯
关键要点
- Efficient DETR 是一种新的目标检测框架，结合了密集和稀疏检测的优点。
- 该框架使用密集先验初始化目标容器，弥补单层和六层解码器之间的差距。
- 在 MS COCO 和 CrowdHuman 数据集上，Efficient DETR 仅使用三个编码器层和一个解码器层就能达到与最先进方法相竞争的性能。
- DETR 采用编码器-解码器 Transformer 架构，但需要较长的训练周期才能收敛，且在小物体检测方面表现较差。
- Deformable DETR 通过局部空间注意力和多尺度特征图解决了 DETR 的训练收敛和小物体检测问题。
- 论文研究了 DETR 的组件，发现解码器层对性能的贡献最大，辅助损失使解码器更高效。
- Efficient DETR 的架构包含密集和稀疏两部分，共用相同的检测头，密集部分生成区域提案，稀疏部分进行细化。
- 通过引入 RPN 层，Efficient DETR 提高了参考点的初始化质量，从而改善了模型性能。
- Efficient DETR 采用动态调整提案数量的策略，使训练过程更加高效。
- 密集部分和稀疏部分共享相同的标签分配规则和损失函数，避免了后处理的需求。
➡️
