通过查询选择进行知识蒸馏的检测变压器
原文中文,约500字,阅读约需2分钟。发表于: 。本文解决了DETR模型在资源受限环境中的压缩问题,通过独特的知识蒸馏方法提升模型性能。研究创新性地引入了分组查询选择策略,重点挖掘困难负查询信息,从而显著提高了蒸馏效果,实验结果表明该方法在多个DETR架构上显著提升了平均精度。
本文提出了一种用于增强DET R的通用方案,通过引入编码器构建位置关系嵌入,将DET R扩展为对比关系流水线,解决了非重复预测和正面监督之间的冲突。实验证明该方法在COCO val2017上获得了显著的改进,并具有更快的收敛速度。关系编码器还为任何DET R类方法带来了明显改进,显式位置关系的提出提高了通用目标检测的潜力。