乳腺X光影像对比语言-图像预训练的多视图和多尺度对齐
原文中文,约400字,阅读约需1分钟。发表于: 。本研究针对医学影像分析中数据和计算资源不足的问题,首次将全CLIP模型应用于乳腺X光影像分析。通过开发专门的监督框架和对称局部对齐模块,研究提出的多视图和多尺度对齐方法(MaMA)在两个大型乳腺影像数据集上超越了最先进的基线,展现出显著的效果和潜在影响。
本文介绍了Mammo-CLIP,一种通过大规模图文数据集预训练的视觉-语言模型,用于乳腺癌检测,解决了数据多样性和规模不足的问题。实验显示,该方法在分类和定位上表现出高效和鲁棒。此外,提出了Mammo-FActOR,一种新颖的特征归因方法,提供基于句子的空间解释。代码已在GitHub上发布。