增强病理检测的疾病描述分解:一种多方面的视觉语言匹配框架
原文中文,约400字,阅读约需1分钟。发表于: 。通过咨询大型语言模型和医学专家,我们提出了一种新颖的 VLP 框架,将疾病描述分解为基本要素,利用对病理学可视表现的先前知识。通过整合 Transformer 模块,我们的方法将输入图像与疾病的多个要素进行对齐,生成以要素为中心的图像表示。通过整合每个要素的匹配,我们改善了图像与其相关疾病之间的兼容性。此外,我们还提出了一个面向要素的双头...
研究人员提出了一种新颖的VLP框架,用于将疾病描述分解为基本要素,并利用对病理学可视表现的先前知识。该方法通过整合Transformer模块,将输入图像与疾病的多个要素进行对齐,生成以要素为中心的图像表示。实验证明,该方法在已见类别和新颖类别的AUC得分上分别超过最近的方法8.07%和11.23%。