从一般化到精确性:在外科环境中探索 SAM 用于工具分割

💡 原文中文,约700字,阅读约需2分钟。
📝

内容提要

本文研究了零样本分割方法在医学场景中的应用,利用SAM生成内窥镜帧的过度分割预测,并通过地面真实工具掩膜分析结果。通过组合过度分割的掩码,可以提高IoU。实验结果显示,组合的SAM预测结果在一定程度的破坏下表现出改进的结果和鲁棒性。

🎯

关键要点

  • 准确的工具分割对于计算机辅助程序至关重要。
  • 医学场景中的工具分割面临伪影和有限训练数据的挑战。
  • 零样本分割提供了解决数据限制问题的选项。
  • Segment Anything Model(SAM)在边界框提示下表现出显著的零样本普适性。
  • 基于点的提示导致性能下降,尤其在图像破坏情况下更为明显。
  • SAM 在高度受损图像上进行了过度分割,单个掩码性能下降。
  • 组合重叠目标的分割掩码能产生更准确的预测。
  • 本文利用 SAM 生成内窥镜帧的过度分割预测,并分析结果。
  • 使用合成损坏和不同强度的仪器分割数据集进行分析。
  • 组合过度分割的掩码可提高 IoU。
  • 在清晰图像上选择最佳单个分割时,得到了竞争力的 IoU 得分。
  • 组合的 SAM 预测结果在一定程度的破坏下显示出改进的结果和鲁棒性。
  • 在医学领域实施这些模型需要恰当的提示策略。
➡️

继续阅读