Swin Transformer 的自监督跨模态预训练
原文中文,约800字,阅读约需2分钟。发表于: 。通过增强 Swin Transformer,我们的模型 SwinFUSE (Swin 多模态融合的无监督增强) 在医学影像领域从不同的影像模态中学习,提升了下游性能,并展现出了对领域变化的适应性以及显著的泛化能力。
本研究提出了一种名为MDU-ST的新模型,用于肿瘤病灶的3D分割。该模型由Swin-transformer编码器和CNN解码器组成,能够适应2D和3D输入,并在同一编码器中学习语义信息。通过三阶段框架,该模型在内部数据集上表现出显著改进。该方法可用于自动化的3D病灶分割,辅助放射组学和肿瘤生长建模研究。