在真实世界数据集上微调SOTA目标检测模型
内容提要
本文介绍了在PyCharm中微调YOLO12、YOLO26和RF-DETR等SOTA目标检测模型的方法。作者先在COCO数据集上验证基线性能，再测试零样本在电缆损伤、骨折X光片和汽水瓶等专业数据集上的表现，结果接近零。经过10轮微调后，模型在电缆和汽水瓶任务上表现良好，但骨折检测仍具挑战。文章强调预训练模型不等于可直接部署，需根据任务选择合适模型。
延伸解读
零样本表现揭示领域鸿沟
文章中的零样本测试显示，在COCO上表现优异的模型在专业数据集上几乎失效，骨裂数据集的mAP50-95甚至为0。这直观地说明，预训练模型只能识别训练时见过的类别和图像分布，无法直接泛化到新领域。对于实际部署，必须评估目标数据与预训练数据的相似度，不能仅依赖模型在基准数据集上的分数。
微调效果因任务而异
经过10轮微调，模型在汽水瓶和电缆损伤任务上表现良好，mAP50分别达到0.91-0.97和0.82-0.93，但骨裂检测仍困难，最佳模型mAP50仅0.447。这表明微调能有效适应视觉上接近COCO的任务，但对模态差异大的任务（如X光片）效果有限，可能需要更多数据、更长训练或领域特定的预训练。
模型选择需权衡精度与速度
在COCO验证中，RF-DETR Base精度最高（mAP50-95 0.5325），但参数多；YOLO26-N速度最快（12.3ms），精度与YOLOv12-N相当。微调后，RF-DETR Base在三个数据集上表现最稳定，而YOLO系列在汽水瓶任务上精度领先。实际选择需根据任务对精度和延迟的要求，以及模型大小和部署环境来权衡。
Q&A
为什么预训练的目标检测模型在专业数据集上表现接近零？
因为预训练模型是在COCO数据集上训练的，只能识别COCO的80个类别，且对图像分布有特定假设。专业数据集（如骨折X光片）中的目标不在其词汇表内，且图像分布与自然图像差异大，导致模型无法输出相关类别，性能接近零。
微调后，哪个模型在三个专业数据集上表现最稳定？
RF-DETR Base在三个数据集上表现最稳定，在电缆损伤和汽水瓶数据集上取得最高mAP50-95，在骨折数据集上也是最佳（mAP50为0.4474）。
在电缆损伤检测中，模型的主要挑战是什么？
模型能可靠地检测到损伤（mAP50可达0.93），但精确定位细长缺陷困难，mAP50-95最高仅0.446，说明在高IoU下边界框不够精确。
为什么骨折检测比其他两个任务更难？
因为从自然图像（COCO）到X光片的模态转换是更大的领域偏移，预训练骨干网络的特征迁移效果差，且骨折特征细微、有时难以区分，导致模型性能远低于其他任务。
在PyCharm中如何管理多个模型的不同依赖环境？
使用PyCharm项目，为每个模型家族创建独立的uv虚拟环境，并在PyCharm中注册为现有解释器，通过设置或状态栏切换。
如何下载RF100数据集用于微调？
在rf-detr虚拟环境中安装roboflow包，设置ROBOFLOW_API_KEY环境变量，然后运行Python脚本，使用Roboflow API下载指定数据集（如bone-fracture-7fylg、cable-damage、soda-bottles）的版本2，格式为yolov8。
微调后，模型在汽水瓶检测任务上表现如何？
所有模型在汽水瓶任务上表现良好，mAP50在0.91-0.97之间，mAP50-95最高达0.6422（YOLOv12-M），因为该任务与COCO中的物体视觉上相似，主要需要学习新词汇。
为什么论文中的延迟数据与本文实测数据不一致？
因为论文报告的是优化后的推理延迟（如使用TensorRT），而本文在原生框架下运行，未进行TensorRT优化，且硬件不同，导致延迟数据有差异。
