EdgeSAM: 基于提示的环路蒸馏技术用于 SAM 的设备内部部署

💡 原文中文,约600字,阅读约需2分钟。
📝

内容提要

EdgeSAM是一种加速变体的Segment Anything Model(SAM),适用于边缘设备。它通过优化ViT-based SAM图像编码器为纯CNN-based架构,提高了速度。EdgeSAM使用盒状和点状提示来捕捉用户输入和掩码生成之间的复杂动态。相比原始SAM,EdgeSAM提速40倍,在边缘设备上比MobileSAM快14倍,同时在COCO和LVIS上提高了平均交并比。EdgeSAM是第一个可以在iPhone 14上以超过30FPS运行的SAM变体。

🎯

关键要点

  • EdgeSAM 是 Segment Anything Model(SAM)的一种加速变体,优化用于边缘设备。

  • 通过将 ViT-based SAM 图像编码器精炼为纯 CNN-based 架构,提高了速度。

  • EdgeSAM 使用盒状和点状提示,捕捉用户输入和掩码生成之间的复杂动态。

  • 相比原始 SAM,EdgeSAM 提速 40 倍,在边缘设备上比 MobileSAM 快 14 倍。

  • 在 COCO 和 LVIS 数据集上,EdgeSAM 提高了平均交并比(mIoUs)2.3 和 3.2。

  • EdgeSAM 是第一个可以在 iPhone 14 上以超过 30 FPS 运行的 SAM 变体。

➡️

继续阅读