释放视觉-语言预训练在3D零样本病变分割中的潜力通过掩膜-属性对齐
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文研究了计算病理学中的视觉表征学习,利用大规模图像-文本对和病理知识树。研究构建了一个包含50,470个属性的知识树,涵盖32种组织和4,718种疾病。开发了一种知识增强的视觉-语言预训练方法,通过语言模型引导视觉学习。实验表明,该方法在跨模态检索和零样本分类任务中表现出色。代码和模型将公开。
🎯
关键要点
- 研究计算病理学中的视觉表征学习问题。
- 构建了包含50,470个属性的病理知识树,涵盖32种组织和4,718种疾病。
- 开发了一种知识增强的视觉-语言预训练方法,通过语言模型引导视觉学习。
- 实验表明该方法在跨模态检索和零样本分类任务中表现出色。
- 所有代码、模型和病理知识树将公开给研究社群。
➡️