借鉴 Zoom:解耦有监督对比学习用于 WCE 图像分类

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

该文汇总多项医学图像AI研究:提出基于差异的主动学习,仅标注10%数据即达全标注性能;用多尺度CNN与反向扩散增强胶囊内窥镜低光图像;以补丁级实体群差异提升分类、检测、分割精度;用弱标签与空间上下文对比学习预测肝硬化;提出MIL方法实现全切片图像分类与肿瘤检测;NearbyPatchCL自监督学习仅用1%标注达87.56%准确率;WCL框架解决类冲突;相互Transformer学习实现无监督WSI分类;语义病变表示转移改进弱监督内窥镜分割。

🔎

延伸解读

主动学习如何降低标注成本

文章提出的基于差异的主动学习方法,通过CAMPUS准则预测类激活图与真实结果之间的差距,从而选择最有价值的样本进行标注。在WCE数据集上,仅标注10%的训练数据就达到了与全标注数据集相当的性能,并优于现有主动学习方法。这表明在医学图像标注昂贵的情况下,主动学习能有效减少标注需求,同时保持模型性能。

自监督学习在WSI分析中的标注效率

NearbyPatchCL利用附近补丁作为正样本,采用解耦对比损失进行自监督学习,在仅使用1%标注数据的情况下,在补丁级多类别分类任务上达到了87.56%的Top-1准确率。这显示了自监督学习在整张切片图像分析中大幅降低标注依赖的潜力,尤其适用于解决WSI内部补丁选择引起的类别不平衡问题。

弱监督对比学习解决类冲突

WCL框架使用两个投影头:一个基于图形方法找到相似样本并生成弱标签,另一个利用这些弱标签进行有监督对比学习,以拉近相似图像之间的距离。该方法旨在解决现有对比学习框架中的类冲突问题,并在不同数据集上提升了自监督表示品质,在半监督学习中达到了新的最优结果。

多任务性能提升与泛化性

基于补充角度余弦相似度度量的补丁水平实体群差异化方法,使模型能够将类似的代表性补丁聚类在一起,从而提高不同类别之间的分离能力。实验结果显示,该方法在分类、检测和分割任务上分别比基线架构提高了4%、2%和3%的准确度,并且泛化性评估提高了近7%,表明其相对于所有SOTA方法具有更好的泛化性。

❓

Q&A

基于差异的主动学习方法在WCE图像分类中有什么优势?

该方法使用CAMPUS准则预测类激活图与真实结果之间的差距,仅标注10%的训练数据即可达到与全标注数据集训练相当的性能,并优于最先进的主动学习方法。

如何增强无线胶囊内窥镜的低光图像?

提出了一种基于多尺度卷积神经网络和反向扩散过程的低光图像增强框架,与十种现有LLIE方法相比具有明显的性能优势和临床潜力。

NearbyPatchCL自监督学习在WSI分类中表现如何?

NearbyPatchCL利用附近补丁作为正样本,采用解耦对比损失进行表示学习,在补丁级别多类别分类任务中达到87.56%的Top-1准确率,且仅使用1%的标注数据。

WCL框架如何解决对比学习中的类冲突问题?

WCL使用两个投影头:一个基于图形的方法找到相似样本并生成弱标签,另一个使用这些弱标签进行有监督对比学习,拉近相似图像距离,从而解决类冲突并提升自监督表示品质,在半监督学习中达到新最优结果。

弱监督位置对比学习如何用于肝硬化预测?

该策略利用弱标签和空间上下文,通过泛化的基于核的损失函数整合每个2D切片的空间上下文和弱标签,在内部数据集上分类AUC提高5%,在公共LIHC数据集上提高26%。

基于MIL的方法在全切片图像分类和肿瘤检测中有什么特点?

该方法无需局部注释即可进行WSI分类和肿瘤检测,并提出了自我监督对比学习及金字塔融合机制,从而提高分类和定位的准确性。

🏷️

标签

➡️

继续阅读