DeViDe:基于分面的医学知识,以提升医学视觉 - 语言预训练
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
DeViDe是一种基于Transformer的新方法,用于胸片X光的视觉语言预训练,利用放射照片描述和开放网络中的通用视觉特征,提供了对医学知识的整体快照。在零样本设置下,DeViDe在外部数据集上表现出与全监督模型相当的性能,并在三个大规模数据集上达到了最先进的结果。此外,DeViDe在下游任务和分割任务上也展示了优越的性能。
🎯
关键要点
- DeViDe是一种基于Transformer的新方法,用于胸片X光的视觉语言预训练。
- 该方法利用配对的放射照片和放射学报告,解决医学知识编码的挑战。
- DeViDe结合了具体定义和放射学报告与开放网络中疾病的通用视觉特征。
- 在零样本设置下,DeViDe在外部数据集上表现出与全监督模型相当的性能。
- DeViDe在三个大规模数据集上达到了最先进的结果。
- 在四个下游任务和六个分割任务上微调DeViDe,展示了其优越的性能。
🏷️
标签
➡️