CARZero:放射学零样本分类的交叉注意力对齐

💡 原文中文,约600字,阅读约需2分钟。
📝

内容提要

通过使用预训练模型在大规模图像-文本对上,推动了医学领域零样本学习的进展。引入了交叉注意力对齐方法(CARZero),用于放射学零样本分类。CARZero利用交叉注意力机制处理图像和报告特征,创建更准确的医学语义相似性表示。同时,CARZero采用基于大型语言模型的提示对齐策略,纳入零样本学习中的关键提示选择。在五个官方胸部透视诊断测试集上展示了最先进的零样本分类性能。

🏷️

标签

➡️

继续阅读