SDR-Former：一种用于肝脏病变分类的孪生双分辨率 Transformer，使用 3D 多相成像
内容提要
本文综述了多种基于Transformer的医学图像分割与重建方法，包括TriDo-Former、D-Former、mnFormer、PVTFormer、TransMRSR、HiFormer、UNetFormer、S²Former-OR和MISSFormer等，涵盖PET重建、3D分割、脑肿瘤分割、肝脏分割、MRI超分辨率及手术室场景图生成等任务，均在临床数据集上优于现有方法。
延伸解读
Transformer 在医学图像任务中的多样化应用
文章列举了多个基于 Transformer 的模型，覆盖 PET 重建、3D 分割、脑肿瘤分割、肝脏分割、MRI 超分辨率及手术室场景图生成等任务。这些模型针对不同医学图像模态和临床需求设计，例如 TriDo-Former 利用多域信息重建 PET 图像，D-Former 以低计算成本实现 3D 分割，表明 Transformer 架构在医学图像领域具有广泛的适应性。
性能优势与计算效率的平衡
多个模型在实验中表现出优于现有方法的效果，同时注重计算效率。例如 D-Former 在低计算成本下从头训练即超越 CNN 或 Transformer 分割模型；UNetFormer 允许在准确性和计算成本之间进行权衡；S²Former-OR 在提升精度的同时减少了模型参数。这反映出医学图像模型设计不仅追求性能，也关注实际部署的可行性。
多模态与多尺度融合成为趋势
文章中的模型常采用多模态或多尺度融合策略。mnFormer 针对不完整多模态学习进行脑肿瘤分割；HiFormer 通过双级融合模块整合 CNN 和 Transformer 的多尺度特征；S²Former-OR 融合 2D 场景和 3D 点云。这些方法通过结合不同来源或层次的信息，提升了分割或生成任务的鲁棒性和准确性。
Q&A
TriDo-Former 是用于什么任务的模型？
TriDo-Former 是一个基于 Transformer 的模型，用于通过 sinogram、图像和频域三个领域直接重建正子发射断层扫描（PET）图像。
D-Former 在 3D 医学图像分割中有什么特点？
D-Former 采用 Dilated Transformer 设计，在全球和局部范围内交替捕捉成对的补丁关系进行自我关注，构建了 U 型编码器-解码器分层结构，在低计算成本下从头开始训练，优于各种有竞争力的基于 CNN 或 Transformer 的分割模型。
mnFormer 用于解决什么医学问题？
mnFormer 是一种多模态医学 Transformer，用于不完整多模态学习的脑肿瘤分割，在 BraTS 2018 数据集上表现优于现有方法。
PVTFormer 在肝脏分割方面取得了哪些成果？
PVTFormer 采用预训练金字塔视觉变形器（PVT v2）和高级残差上采样与解码器块相结合，克服了高分辨率医学图像处理中的可扩展性和效率问题，通过整合精细的特征通道方法和分级解码策略，生成了优质的分割掩膜，具有较高的 Dice 系数和 mIoU，较低的 HD，为肝脏分割设立了新基准。
HiFormer 如何结合 CNN 和 Transformer 进行医学图像分割？
HiFormer 通过使用 Swin Transformer 模块和基于 CNN 的编码器设计两种多尺度特征表示，并在跳跃连接中提出 Double-Level Fusion（DLF）模块，确保全局和局部特征的细粒度融合，在计算复杂度、定量和定性结果上优于其他方法。
UNetFormer 在肝脏和脑肿瘤分割任务中表现如何？
UNetFormer 具有基于 3D Swin 变压器的编码器和卷积神经网络与变压器的解码器，允许在准确性和计算成本之间权衡。使用 CT 图像自监督预训练，在 MSD 数据集上进行肝和肝肿瘤分割，在 BraTS 21 数据集上进行脑肿瘤分割，Dice 评分优于其他方法。
S²Former-OR 在手术室场景图生成中有什么创新？
S²Former-OR 是一种单阶段双模态变压器框架，利用多视角的 2D 场景和 3D 点云进行场景图生成，通过视图同步转运方案促进多视角视觉信息交互，设计几何视觉凝聚操作整合 2D 语义特征与 3D 点云特征，并提出关系敏感变压器解码器，嵌入动态实体对查询和关系特征先验，直接预测实体对关系。在 4D 手术室基准测试中，精度提高 3%，模型参数减少 24.2M。
MISSFormer 在医学图像分割中有什么优势？
MISSFormer 是一种基于 Transformer 的医学图像分割方法，通过改良的 Transformer 块和上下文桥，结合 CNN 和 Transformer 的优点，在医学图像分割任务上获得了优秀的性能，代码已开源。
