EyeCLIP:用于多模态眼科图像分析的视觉语言基础模型

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

我们提出了一种自我监督的机器学习框架OCT-SelfNet,用于眼部疾病检测。通过多个机构的数据集和两阶段训练方法,我们的方法在测试中获得了超过77%的AUC-ROC性能,相比基线模型提升了至少10%。

🎯

关键要点

  • 提出了一种自我监督的机器学习框架OCT-SelfNet,用于眼部疾病检测。
  • 使用光学相干断层扫描(OCT)图像,结合多个机构的数据集。
  • 采用两阶段训练方法:自我监督预训练和有监督微调。
  • 基于SwinV2主干结构的遮罩自编码器解决了临床应用部署的问题。
  • 实验结果显示,OCT-SelfNet在测试中获得超过77%的AUC-ROC性能。
  • 相比基线模型Resnet-50,性能提升了至少10%。
  • 根据AUC-PR指标,OCT-SelfNet达到了42%以上的性能,优于基线模型的33%。
➡️

继续阅读