密集残差 Swin Transformer 用于连续无深度限制超声成像
内容提要
本文介绍了基于Swin Transformer的医学图像处理模型，包括重建Swin Transformer (RST)和双重Swin Transformer U-Net (DS-TransUNet)，显著提升了4D MRI重建和医学图像分割效果。此外，提出了多维统一Swin Transformer (MDU-ST)用于3D病灶分割，展现出优越性能，适用于自动化肿瘤生长建模研究。
延伸解读
从2D标注到3D分割的迁移学习
文章指出，临床中根据RECIST准则，放射科医生通常只在轴位切片上勾画病灶，导致大量未标记的3D体积和带标签的2D图像，而标记的3D体积稀缺。MDU-ST通过三阶段框架，先利用未标记3D体积进行自监督预训练，再微调2D分割，最后微调3D分割，有效缓解了3D标注数据不足的问题。这种迁移学习策略为医学图像分割提供了实用思路。
Swin Transformer在医学图像中的多任务适应性
文章汇总了多个基于Swin Transformer的模型，分别应用于4D MRI重建（RST）、医学图像分割（DS-TransUNet）和3D病灶分割（MDU-ST）。这些模型均利用Swin Transformer的窗口注意力机制，在各自任务上取得了优于现有方法的表现。这表明Swin Transformer架构在医学图像处理中具有较好的通用性和扩展性，能够适应不同维度和任务需求。
评估指标与临床转化潜力
MDU-ST在包含593个病灶的内部数据集上，使用Dice相似系数和Hausdorff距离进行评估，相比竞争模型有显著改进。这些指标分别衡量分割重叠度和边界误差，是医学图像分割的常用标准。文章提到该方法可用于辅助放射组学和肿瘤生长建模研究，但尚未涉及临床部署或前瞻性验证，实际应用仍需进一步研究。
Q&A
重建Swin Transformer (RST) 的主要功能是什么？
RST主要用于4D MRI重建，能够恢复像素级强度并显著提升重建效果。
双重Swin Transformer U-Net (DS-TransUNet) 有什么创新之处？
DS-TransUNet首次将Swin Transformer的优势融入标准U形架构的编码器和解码器中，以提高医学图像的语义分割质量。
多维统一Swin Transformer (MDU-ST) 是如何进行训练的？
MDU-ST通过三阶段框架进行训练，利用未标记的3D病灶体积和带标签的2D、3D图像进行微调。
MDU-ST在3D病灶分割中表现如何？
MDU-ST在内部3D病灶数据集上表现出显著改进，适用于自动化肿瘤生长建模研究。
Swin Transformer在医学图像处理中的优势是什么？
Swin Transformer通过其结构设计和多通道损失方法，能够有效提升医学图像的重建和分割质量。
这项研究的主要贡献是什么？
本研究提出了多种基于Swin Transformer的模型，显著提升了4D MRI重建和医学图像分割的效果。
