Efficient DETR是一种新的目标检测框架，结合了密集和稀疏检测。它使用密集先验来初始化目标容器，并弥合了单层和六层解码器之间的差距。在MS COCO和CrowdHuman数据集上的实验结果表明，Efficient DETR仅使用三个编码器层和一个解码器层就能达到与最先进方法相竞争的性能。该论文还探讨了DETR的不同组件的影响，并提出了改进措施以解决其局限性。

本文介绍了一种新方法：DecoderLens，用于解释Transformer模型的内部状态。DecoderLens允许解码器跨层交叉注意到编码器层的表示，将不可解释的向量表示映射为可解释的单词或符号序列。该方法应用于问答、逻辑推理、语音识别和机器翻译模型，揭示了在低层或中间层解决的几个特定子任务。