DeViDe:基于分面的医学知识,以提升医学视觉 - 语言预训练
原文中文,约400字,阅读约需1分钟。发表于: 。在胸片 X 光的视觉语言预训练方面取得了显著进展,主要通过利用配对的放射照片和放射学报告。为了解决医学知识编码的挑战,我们提出了一种新颖的基于 Transformer 的方法 DeViDe,它利用来自开放网络的放射照片描述。DeViDe 将具体定义和放射学报告与开放网络中疾病的通用视觉特征相结合,提供了对知识的整体快照。在零样本设置下,DeViDe...
DeViDe是一种基于Transformer的新方法,用于胸片X光的视觉语言预训练,利用放射照片描述和开放网络中的通用视觉特征,提供了对医学知识的整体快照。在零样本设置下,DeViDe在外部数据集上表现出与全监督模型相当的性能,并在三个大规模数据集上达到了最先进的结果。此外,DeViDe在下游任务和分割任务上也展示了优越的性能。