以低延迟、高质量和多样化提示的方式重新思考交互式图像分割
内容提要
本文介绍了一种新型医学图像分割模型PromptUNet，该模型结合了基于提示的分割和UNet，显著提升了分割精度。通过引入多种提示类型，PromptUNet在医学图像分割任务中优于现有主流方法。此外，研究探讨了交互式提示和自适应提示优化框架TEPO，进一步增强了模型性能。
延伸解读
PromptUNet 的融合思路
PromptUNet 将基于提示的分割与 UNet 结合，并引入 Supportive Prompts 和 En-face Prompts 等提示类型。这种设计旨在利用提示提供额外引导信息，同时保留 UNet 在医学图像分割中的结构优势。实验表明，其在医学图像分割上的精度高于 nnUNet、TransUNet、UNetr、MedSegDiff 和 MSA 等主流方法，显示出提示与经典网络融合的潜力。
TEPO 优化交互提示
TEPO 是一种自适应提示形式优化框架，针对人类专家支持下的 SAM 在医学图像分割中表现脆弱的问题。它通过强化学习优化提示，以增强 SAM 的零样本能力。在 BraTS2020 基准上的实验显示，学习到的 TEPO 代理能进一步提升 SAM 在医学图像分割上的零样本性能，为交互式分割提供了新思路。
提示工程在医学分割中的探索
文章还涉及对交互提示的工程化评估，即测试不同提示类型在医学图像交互分割模型中的测试时间可变性，以寻找简单高效的最佳提示选择方法。这反映了当前研究不仅关注模型结构，也重视提示设计对分割性能的实际影响，为后续提示优化提供了参考。
Q&A
PromptUNet模型的主要特点是什么？
PromptUNet结合了基于提示的分割和UNet，显著提升了医学图像分割的精度。
PromptUNet如何提高医学图像分割的精度？
通过引入多种提示类型，如Supportive Prompts和En-face Prompts，PromptUNet显著提升了分割精度。
PromptUNet与其他主流方法相比有什么优势？
实验结果显示，PromptUNet在医学图像分割任务中优于nnUNet、TransUNet、UNetr、MedSegDiff和MSA等方法。
TEPO框架在PromptUNet中的作用是什么？
TEPO框架通过自适应提示优化，增强了PromptUNet在医学图像分割中的性能。
PromptUNet的实验结果如何？
实验结果表明，PromptUNet在医学图像分割上的精度高于当前主流方法。
PromptUNet的应用场景有哪些？
PromptUNet主要应用于医学图像分割任务，适用于多种标准的分割任务。
