DiM: 高效高分辨率图像合成的扩散灰曼巴
内容提要
本文介绍了多种基于 SMM-CNN 结构的医学图像合成方法，如 VM-DDPM、MDM 和 I2I-Mamba。这些方法在高分辨率图像生成方面取得了显著进展，通过新型模型和架构提升了生成质量和计算效率，尤其在多模式图像融合和高光谱图像分类任务中表现优异，展现了强大的泛化能力和应用潜力。
延伸解读
Mamba 架构如何提升高分辨率图像生成效率
文章指出，DiffuSSM 通过扩散状态空间模型显著降低高分辨率图像生成的计算复杂度，生成质量与注意力模型相当；无限超分模型在生成 4096×4096 图像时比 UNet 节省超过 5 倍内存。这些结果表明，Mamba 类状态空间模型在保持生成质量的同时，能有效缓解高分辨率合成中的内存与计算瓶颈，为实际部署提供更可行的路径。
医学图像合成中的多模态融合进展
VM-DDPM 在三个不同规模数据集上取得最先进性能，I2I-Mamba 在多对比度 MRI 和 MRI-CT 协议中优于 CNN 与 Transformer 方法。FusionMamba 则通过结合 Mamba 块提取空间和光谱特征，在 CT-MRI、PET-MRI 等融合任务中展现泛化能力。这些工作共同推动医学图像合成从单一模态向多模态融合演进，并强调跨模态信息整合对提升合成质量的重要性。
从 2K 到 4K：超高分辨率合成的技术路线
PDM 借助金字塔潜在表示首次成功合成 2K 分辨率图像，而无限超分模型则通过单向注意力和 DiT 结构实现 4096×4096 生成并大幅节省内存。两者分别从潜在空间设计和推理内存优化切入，反映了超高分辨率合成中平衡质量与资源消耗的两种思路，为后续研究提供了可借鉴的设计方向。
高光谱图像分类中的 Mamba 尝试
MiM 模型利用 Mamba-in-Mamba 架构和状态空间模型，在高光谱图像分类中通过改进特征生成与解码效率，优于现有基线和最先进方法。这表明 Mamba 架构不仅适用于图像生成与融合，也能扩展到高光谱分类任务，展现出在遥感等领域的应用潜力，但文章未提供具体数据集和量化指标，实际效果仍需进一步验证。
Q&A
VM-DDPM 是什么？
VM-DDPM 是一种基于 SMM-CNN 结构的医学图像合成方法，通过多级状态空间块等技术在多个数据集上取得了最先进的性能。
MDM 如何优化高分辨率图像生成？
MDM 通过嵌套 UNet 架构和渐进式训练安排，在多个分辨率上联合去噪输入，实现了高分辨率生成的显著优化。
I2I-Mamba 有什么优势？
I2I-Mamba 通过选择性状态空间建模捕捉远程上下文，优于现有的基于 CNN 和 Transformer 的方法，在合成目标模态图像方面表现更佳。
FusionMamba 是如何进行图像融合的？
FusionMamba 通过在两个 U 型网络中结合 Mamba 块，以高效、独立和分级的方式提取空间和光谱特征，生成高分辨率的多/高光谱图像。
DiffuSSM 架构的主要特点是什么？
DiffuSSM 架构显著降低了高分辨率图像生成的计算复杂度，生成图像质量与注意力模块的模型相媲美。
Pyramid Diffusion Model (PDM) 的创新点是什么？
PDM 通过金字塔潜在表示和其他技术增强了超高分辨率图像合成的能力，首次成功合成了 2K 分辨率的图像。
