医学影像分类中 ImageNet 预训练深度学习模型与 DINOv2 的比较分析
内容提要
该研究通过百余实验评估DINOv2等基础模型在放射学中的迁移性，发现DINOv2分割表现优越、分类具竞争力。对比自然与医学图像预训练表明，自监督ImageNet模型更善学整体特征，连续预训练可缩小领域差距，但迁移学习提升有限，轻量模型可媲美ImageNet架构。
延伸解读
DINOv2在医学影像中的表现特点
文章通过百余实验发现，DINOv2在放射学分割任务中表现优越，在疾病分类中具有竞争力。这表明自监督学习模型在捕捉医学图像局部特征方面有优势，尤其适合需要精细分割的场景。但分类任务中，DINOv2并未全面超越ImageNet预训练基线，说明其泛化能力仍受任务类型影响。
基础模型迁移性的局限
研究评估了SAM、SEEM、DINOv2、BLIP和OpenCLIP五种基础模型，发现除DINOv2外，其他模型在医学图像分类中未能稳定超越ImageNet预训练基线。这提示基础模型的跨领域迁移并非普遍有效，医学图像的特殊性可能限制其直接应用，需针对性调整。
自监督与连续预训练的价值
对比自然与医学图像预训练表明，自监督ImageNet模型比有监督版本更善于学习整体特征，连续预训练能缩小自然图像与医学图像之间的领域差距。这为优化医学影像预训练策略提供了方向：利用自监督学习并逐步适应目标领域，可能比直接迁移更有效。
轻量模型与迁移学习的再思考
文章指出，在两项大规模医学成像任务中，迁移学习对性能提升有限，而简单轻量级模型可与ImageNet架构相当。这挑战了“更大模型、更多预训练必然更好”的假设，提示在医学影像应用中，应权衡模型复杂度与实际收益，探索更高效的模型设计。
Q&A
DINOv2在医学影像任务中的表现如何？
DINOv2在分割任务中表现优越，在疾病分类中具有竞争力的结果。
自监督ImageNet模型与有监督ImageNet模型在医学图像特征学习上有何差异？
自我监督的ImageNet模型比有监督的ImageNet更有效地学习整体特征。
连续预训练对缩小自然图像与医学图像领域差距有何作用？
连续预训练可以缩小自然图像与医学图像领域之间的跨度。
迁移学习在医学成像任务中能带来多大的性能提升？
迁移学习对性能的提升有限，简单轻量级模型可以与ImageNet架构相当。
其他基础模型（如SAM、SEEM、BLIP、OpenCLIP）在医学图像分类中的可转移性如何？
其他基础模型未能始终超越ImageNet预训练基线，表明它们在医学图像分类任务中的可转移性存在限制。
视觉Transformer在医学图像分类中能否替代卷积神经网络？
使用预训练模型时，视觉Transformer可以与卷积神经网络媲美，成为CNN的一种可行替代方法。
