EdgeSAM: 基于提示的环路蒸馏技术用于 SAM 的设备内部部署
原文中文,约600字,阅读约需2分钟。发表于: 。EdgeSAM 是 Segment Anything Model(SAM)的一种加速变体,经过优化以在边缘设备上高效执行而不牺牲性能。该方法通过将原始的 ViT-based SAM 图像编码器精炼为纯 CNN-based 架构,更适合于边缘设备。我们仔细评估了各种精炼策略,并证明了任务不相关的编码器精炼未能充分捕捉 SAM...
EdgeSAM是一种加速变体的Segment Anything Model(SAM),适用于边缘设备。它通过优化ViT-based SAM图像编码器为纯CNN-based架构,提高了速度。EdgeSAM使用盒状和点状提示来捕捉用户输入和掩码生成之间的复杂动态。相比原始SAM,EdgeSAM提速40倍,在边缘设备上比MobileSAM快14倍,同时在COCO和LVIS上提高了平均交并比。EdgeSAM是第一个可以在iPhone 14上以超过30FPS运行的SAM变体。