释放视觉-语言预训练在3D零样本病变分割中的潜力通过掩膜-属性对齐
原文中文,约300字,阅读约需1分钟。发表于: 。本研究针对医学影像领域在零样本病变识别中的图像级知识转移至像素级任务的难题,提出了一种名为Malenia的新型多尺度病变级掩膜-属性对齐框架,以实现3D零样本病变分割。通过显著提高掩膜表示与其相关元素属性之间的兼容性,Malenia能够有效桥接未见病变的视觉特征与以往所学的扩展知识,展现出卓越的性能和潜在的临床应用价值。
本文研究了计算病理学中的视觉表征学习,利用大规模图像-文本对和病理知识树。研究构建了一个包含50,470个属性的知识树,涵盖32种组织和4,718种疾病。开发了一种知识增强的视觉-语言预训练方法,通过语言模型引导视觉学习。实验表明,该方法在跨模态检索和零样本分类任务中表现出色。代码和模型将公开。