Derm-T2IM: 使用稳定的扩散模型利用合成皮肤损伤数据，通过 ViT 和 CNN 提升皮肤疾病分类
内容提要
该文综述扩散模型在医学图像合成中的应用：结合病灶视觉与文本提示生成皮肤镜图像，质量与分割性能优于传统方法；利用图像特征构建文本提示以提升病理图像合成质量；DermSynth3D融合皮肤病模式与3D人体网格生成多视角图像；HistoDiffusion通过预训练与微调合成病理图像，使分类准确率提升6.4%；合成数据还可用于训练目标检测、生成腹腔镜图像，并生成伪标签以减少像素级标注需求。
延伸解读
合成数据在皮肤科分类中的增益与局限
文章指出，利用潜在扩散模型生成皮肤病图像可提升数据有限时的模型性能，但合成数据相比真实数据仍有较小性能增益。这意味着合成数据可作为补充，但收集多样化的真实数据仍是提升医疗AI算法的重要步骤。读者需注意，合成数据并非完全替代真实数据，其价值在于缓解数据稀缺，而非消除对真实数据的需求。
文本提示设计对合成图像质量的影响
在病理图像合成中，从自动提取的图像特征构建结构化文本提示，而不仅使用正常/癌症标签，使FID从178.8降至90.2。这表明提示中引入更细粒度的图像特征能显著改善生成质量。同时，病理学家难以区分合成与真实图像（敏感性/特异性中位数0.55/0.55），说明合成图像逼真度较高，但需警惕其可能掩盖生成偏差。
合成数据用于训练与标注的多种途径
文章展示了合成数据的多种用途：训练目标检测模型（苹果果园检测中性能与真实图像基线相似）、生成腹腔镜图像辅助手术训练，以及利用Stable Diffusion的注意力机制生成伪标签用于语义分割，减少像素级标注需求。DatasetDM仅需少于1%手动标记图像即可生成带注释数据集。这些案例表明合成数据可扩展至分类之外的任务，但各任务中的有效性需独立验证。
Q&A
Derm-T2IM 方法在生成皮肤镜图像时，相比传统生成模型有哪些具体提升？
Derm-T2IM 结合病灶特定的视觉和文本提示生成皮肤镜图像，在图像质量和皮损分割性能上优于传统生成模型：SSIM 图像质量指标提高 9%，Dice 系数超过先前方法 5% 以上。
合成皮肤损伤数据训练模型时，与真实数据相比效果如何？
利用潜在扩散模型生成皮肤病图像的研究表明，合成数据训练模型可在数据有限时提高性能，但相比真实数据仍有较小的性能增益，因此收集多样的真实数据仍是提升医疗 AI 算法的重要步骤。
在病理图像合成中，如何通过文本提示提升生成质量？
一种方法是从自动提取的图像特征中构建结构化文本提示，在提示中引入图像特征而不仅仅是正常/癌症标签，从而将 FID 从 178.8 改善到 90.2，且病理学家难以检测合成图像（敏感性/特异性中位数 0.55/0.55）。
DermSynth3D 框架是如何生成皮肤镜图像的？
DermSynth3D 将皮肤病模式与人类主体的 3D 网格相融合，使用可微分渲染器从不同摄像机视点在各种背景场景下生成 2D 图像，可为皮肤病学任务创建自定义数据集。
HistoDiffusion 方法如何提升病理图像分类准确率？
HistoDiffusion 先在大规模无标签数据集上预训练潜在扩散模型，再在未见过的有标签数据集上通过分类器引导微调，合成特定类别图像，并选择性添加与目标标签匹配度高的样本，从而将骨干分类器准确率提升 6.4%。
合成数据如何减少语义分割对像素级标注的依赖？
利用 Stable Diffusion 的文本提示、交叉注意力和自注意力，引入类别提示附加、类别提示交叉注意力和自注意力指数化三种技术，生成与合成图像对应的分割地图作为伪标签，从而消除对像素级注释的繁重需求，在 PASCAL VOC 和 MSCOCO 上明显优于同行工作。
