推进 DINO 1.5: 开拓开放集合目标检测的 “边缘
内容提要
本文介绍了多个先进的物体检测模型，包括 MM-Grounding-DINO、DINO、Mask DINO 和 OmDet-Turbo，强调了它们在不同数据集上的优越性能和实时检测能力。同时，研究探讨了 Focal-Stable-DINO 和 DE-ViT 模型在医学影像和开放集检测中的应用，展示了其在疾病分类和对象定位任务中的有效性。
延伸解读
开放集检测的实时化突破
OmDet-Turbo 通过高效融合头模块，在 TensorRT 和语言缓存技术支持下达到 100.2 FPS，解决了开放词汇检测模型计算资源需求高的问题。其在零样本 COCO 和 LVIS 上接近有监督模型性能，并在 ODinW 和 OVDEval 上刷新纪录，表明实时开放集检测已具备工业应用潜力。
统一检测与分割的演进
Mask DINO 将物体检测和分割统一在一个框架内，通过 DOT product 预测二进制掩模，支持实例、全景和语义分割。这种统一设计能从联合大规模数据集中获益，减少多任务分别建模的冗余，为需要同时定位和分割的应用提供了高效解决方案。
医学影像中的自监督学习
DINOv2 在放射学领域的评估显示，其在器官分割任务中表现优越，在疾病分类中具有竞争力。超过 100 个实验表明，自监督预训练能有效迁移到医学影像，为优化预训练策略和连接自然图像与放射图像分析提供了见解。
视觉示例驱动的开放集检测
DE-ViT 使用纯视觉 DINOv2 骨干，通过示例图像而非语言学习新类别，将多类别分类转为二分类并引入区域传播技术。在 COCO 和 LVIS 的开放词汇、少样本和一次样本基准上超越现有方法，展示了视觉示例在开放集检测中的有效性。
Q&A
MM-Grounding-DINO 模型的优势是什么？
MM-Grounding-DINO 模型经过全面分析和复现，显示出优于 Grounding-DINO 的效果，并且是开源的，易于使用。
DINO 模型在 COCO 数据集上的表现如何？
DINO 模型在 COCO 数据集上经过 12 个时期训练，达到了 49.4AP 和 69.3% 的 val mAP，表现出色。
Mask DINO 是什么？
Mask DINO 是一个统一的物体检测和分割框架，能够进行实例、全景和语义等多种图像分割任务。
OmDet-Turbo 模型的实时检测能力如何？
OmDet-Turbo 模型在应用 TensorRT 和语言缓存技术的情况下，速度达到 100.2 FPS，表现出色。
Focal-Stable-DINO 模型的参数和性能如何？
Focal-Stable-DINO 模型仅使用 700M 参数，在 COCO val2017 上达到 64.6 AP，表现优异。
DE-ViT 模型的学习方式是什么？
DE-ViT 模型通过示例图像学习新类别，而不是依赖语言，提升了检测能力。
