喉部血管分类的两步异构迁移学习的问题与改进分析
内容提要
本文综述迁移学习在医学图像分类中的进展。ImageNet预训练因领域差异增益有限；FLAIR等视觉-语言基础模型直接迁移可提升2.5%，微调后达4%；自监督预训练在医学领域可媲美或超越ImageNet。相关研究将其应用于视网膜病变、脑血管分割、胶质瘤分类、COVID-19诊断及乳腺癌病理分类，并探索半监督、域自适应与对比变分自编码器等方法。
延伸解读
ImageNet预训练在医学图像中的局限
文章指出，基于ImageNet预训练的深度学习模型虽是处理医学图像数据稀缺的传统方案，但相关文献表明，由于自然图像与医学图像之间存在高领域差异性，这种策略带来的性能增益有限。因此，研究者开始探索领域专业化基础模型作为替代方案。
FLAIR模型迁移性能优势
在CGI-HRDC高血压性视网膜病变诊断挑战赛中，直接迁移FLAIR视觉-语言基础模型可获得2.5%的性能增益，而微调整个网络后增益提升至4%。这表明领域专业化基础模型能更有效地利用预训练特征，避免特征退化。
自监督预训练与领域适应
研究表明，在医学领域使用自监督预训练可取得与ImageNet相当或更好的效果。此外，半监督、域自适应等方法也被应用于视网膜病变、脑血管分割等任务，其中脑血管分割方法在目标领域实现了8.9%的Dice值差距，展示了跨模态适应的潜力。
Q&A
在医学图像分类中，为什么传统的ImageNet预训练迁移学习效果有限？
因为医学图像与自然图像之间存在高领域差异性，导致ImageNet预训练带来的性能增益有限。
FLAIR视觉-语言基础模型在眼底图像分类中的迁移效果如何？
直接迁移FLAIR特征可获得2.5%的性能增益，对整个网络微调后增益提升至4%。
自监督预训练在医学图像领域相比ImageNet预训练有什么优势？
自监督预训练在医学领域可以取得与ImageNet可比或更好的效果，并能学习到领域特定的特征。
迁移学习在脑血管分割中是如何应用的？
通过基于半监督域自适应的图像到图像转换和语义分割，利用分离且语义丰富的潜在空间表示异构数据，实现跨模态自适应，目标领域Dice值差距为8.9%。
在胶质瘤分类中，迁移学习策略取得了怎样的性能？
通过半监督学习利用微调模型预测未标注区域，重新训练后平衡准确率达96.91%，F1分数为97.07%，并减少了病理学家的注释工作量。
对比变分自编码器在视网膜血管分割中有什么作用？
它可以过滤无关特征并合成深层血管造影潜在图像来代表视网膜血管，通过简单阈值处理实现更高分割性能，并提供无创、安全的荧光素血管造影替代可视化方法。
