多模型推理的导向专家混合去噪 OCT 图像

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

该文综述了光学相干断层扫描图像去噪与分析的深度学习方法,涵盖自监督、少样本及无监督框架(如S2F、OCT-SelfNet和扩散模型生成合成图像),可减少人工标注需求,提升疾病检测与分割性能,AUC-ROC超77%。

🔎

延伸解读

自监督与少样本学习如何降低OCT去噪的标注依赖

文章综述了多种减少人工标注的OCT去噪方法。例如,Sub2Full(S2F)自监督策略无需干净数据即可训练,性能优于Noise2Noise和Noise2Void;少样本监督框架则大幅提升训练速度。这些方法共同指向一个趋势:利用未标注或少量标注数据实现有效去噪,从而缓解医学图像分析中注释数据有限的瓶颈。

OCT-SelfNet在疾病检测中的性能表现与临床潜力

OCT-SelfNet采用自监督预训练和有监督微调的两阶段框架,结合多机构数据集和SwinV2主干。实验显示其AUC-ROC超过77%,而基线Resnet-50不足54%;AUC-PR达到42%以上,比基线提升至少10%。这表明自监督学习能显著提升OCT疾病检测性能,并具备临床部署的实用性。

扩散模型生成合成OCT图像以缓解标注短缺

去噪扩散概率模型(DDPM)可通过粗略层次草图生成逼真的近视视网膜OCT图像,并借助知识适应获得更准确的伪标签。研究发现,仅用合成图像训练的分割模型能达到与真实图像训练相当的效果,且层次分割准确性持续改善。这展示了生成模型在减少人工注释需求方面的潜力。

无监督去噪与多尺度方法应对复杂噪声

针对OCT中信号相关和轴向相关噪声,有研究提出无监督深度学习方法,无需干净图像或噪声模型,性能优于现有自监督和无监督方法。另一项工作则集成多尺度去噪器,通过对比学习增强网络区分噪声与高频信号的能力,在联合压缩和去噪任务中提升了失真性能和编解码速度。

❓

Q&A

OCT图像去噪中,自监督学习方法如何减少对干净数据的需求?

自监督学习方法如Sub2Full (S2F) 无需干净数据即可进行OCT去噪,在视觉光OCT视网膜图像上验证并展示了优于常规的Noise2Noise和Noise2Void方案的性能。

OCT-SelfNet框架在眼部疾病检测中的性能如何?

OCT-SelfNet采用两阶段训练(自监督预训练和有监督微调),基于SwinV2主干结构的遮罩自编码器,在所有测试中AUC-ROC超过77%,而基线模型Resnet-50不到54%;AUC-PR达到42%以上,比基线模型的33%提升至少10%。

扩散模型如何用于生成合成OCT图像以减少人工标注?

训练的去噪扩散概率模型(DDPM)可以通过提供粗略的层次草图生成逼真的近视视网膜OCT图像,并通过知识适应获得更准确的伪标签,对分割任务有益。仅使用合成图像训练的层次分割模型可以达到与仅使用真实图像训练的模型相当的结果,展示了减少人工注释的潜力。

无监督OCT去噪方法能处理哪些类型的噪声?

一种基于深度学习的无监督降噪方法能够移除图像中的信号相关噪声和轴向相关噪声,无需干净图像或噪声模型作为输入,实验结果表明该方法优于现有的自监督和无监督图像降噪方法。

少样本学习框架在OCT去噪中有什么优势?

少样本监督学习框架在训练速度和培训内容方面都有巨大的提高,并且为OCT不同成像系统的域偏移问题提出了可能的解决方法。

OCT图像去噪中,哪些方法在基准测试中表现出色?

BM3D方法在各种去噪任务中展现出了有效性和高效性,多种DNN模型能够在对抗真实数据的去噪任务中展现出最优的性能。此外,S2F、OCT-SelfNet和扩散模型等方法也展示了优越性能。

🏷️

标签

➡️

继续阅读