基于 Transformer 的多模态脑 MR 影像分解转换器
原文中文，约300字，阅读约需1分钟。发表于：。本研究提出了一个基于 Transformer 的模态注入器，用于合成多模态脑 MR 图像，通过从编码器中提取模态不可知特征，然后将其转换为模态特定特征，进而捕捉所有脑结构之间的远距离关系，从而生成更真实的图像。在 BraTS 2018 数据集上进行实验的结果表明，所提出的方法在合成质量方面具有优势。此外，还对脑肿瘤分割任务和不同的条件方法进行了实验。
本研究提出了一种基于增强的Transformer U-Net架构的多功能多任务神经网络框架，可以解决医学图像中的图像分割、实值预测和跨模态转换等挑战。通过验证人脑MR和CT图像的数据集，将合成CT图像的问题分解为颅骨分割、HU值预测和图像顺序重建等子任务。添加多个图像通道，并进行了基于T1加权和T2-Flair图像合成的CT图像比较，评估了模型集成多模态信息的能力。
