多源数据融合的自监督学习增强多分类视网膜疾病分类的Multi-OCT-SelfNet
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本研究使用遮罩图像建模学习视网膜OCT图像的表示,通过遮罩自编码器在真实世界临床环境中训练,得出有力且通用的OCT图像表示。提出了扩展的MAE预训练方法,将OCT与红外眼底图像结合,提高了性能。实验利用了公开可用的OCT数据集,为未来比较工作提供了可能。
🎯
关键要点
-
本研究探讨了使用遮罩图像建模学习视网膜OCT图像的表示的有效性。
-
利用遮罩自编码器(MAE)在真实世界的临床环境中训练700K OCT图像,得出有力且通用的OCT图像表示。
-
OCT模型经过广泛评估,表现出良好的性能,适合作为轻量级适配器的多功能冻结特征提取器。
-
提出了一种扩展的MAE预训练方法,将OCT与红外眼底图像结合,学习一个联合模型。
-
通过多模态下游应用的实验证明了方法的性能提升。
-
实验利用了公开可用的OCT数据集,为未来的比较工作提供了可能。
➡️