从 SAM 提取语义先验,用于高效图像修复模型
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文介绍了GoodSAM框架,通过引入教师助理和融合SAM的logits解决知识转移问题。使用DAR和MKA模块处理全景图像的畸变问题并传递多级特征知识。实验证明GoodSAM在两个基准测试上取得了较先进方法+3.75%的mIoU提升。最轻量级的模型仅有3.7M个参数,但性能与先进方法相媲美。
🎯
关键要点
- 提出了一种名为 GoodSAM 的新型框架。
- 通过引入教师助理 (TA) 和融合 SAM 的集成 logits 解决知识转移问题。
- 提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块。
- DAR 和 MKA 模块处理全景图像的畸变问题并传递多级特征知识。
- GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升。
- 最轻量级的模型仅有 3.7M 个参数,但性能与先进方法相媲美。
➡️