多源数据融合的自监督学习增强多分类视网膜疾病分类的Multi-OCT-SelfNet

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本研究使用遮罩图像建模学习视网膜OCT图像的表示,通过遮罩自编码器在真实世界临床环境中训练,得出有力且通用的OCT图像表示。提出了扩展的MAE预训练方法,将OCT与红外眼底图像结合,提高了性能。实验利用了公开可用的OCT数据集,为未来比较工作提供了可能。

🎯

关键要点

  • 本研究探讨了使用遮罩图像建模学习视网膜OCT图像的表示的有效性。

  • 利用遮罩自编码器(MAE)在真实世界的临床环境中训练700K OCT图像,得出有力且通用的OCT图像表示。

  • OCT模型经过广泛评估,表现出良好的性能,适合作为轻量级适配器的多功能冻结特征提取器。

  • 提出了一种扩展的MAE预训练方法,将OCT与红外眼底图像结合,学习一个联合模型。

  • 通过多模态下游应用的实验证明了方法的性能提升。

  • 实验利用了公开可用的OCT数据集,为未来的比较工作提供了可能。

➡️

继续阅读