DeViDe:基于分面的医学知识,以提升医学视觉 - 语言预训练

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

DeViDe是一种基于Transformer的新方法,用于胸片X光的视觉语言预训练,利用放射照片描述和开放网络中的通用视觉特征,提供了对医学知识的整体快照。在零样本设置下,DeViDe在外部数据集上表现出与全监督模型相当的性能,并在三个大规模数据集上达到了最先进的结果。此外,DeViDe在下游任务和分割任务上也展示了优越的性能。

🎯

关键要点

  • DeViDe是一种基于Transformer的新方法,用于胸片X光的视觉语言预训练。
  • 该方法利用配对的放射照片和放射学报告,解决医学知识编码的挑战。
  • DeViDe结合了具体定义和放射学报告与开放网络中疾病的通用视觉特征。
  • 在零样本设置下,DeViDe在外部数据集上表现出与全监督模型相当的性能。
  • DeViDe在三个大规模数据集上达到了最先进的结果。
  • 在四个下游任务和六个分割任务上微调DeViDe,展示了其优越的性能。
➡️

继续阅读