Hi-SAM：基于层次化文本分割的 Segment Anything 模型融合
内容提要
本文综述Meta的Segment Anything Model（SAM）相关研究。SAM是首个视觉基础分割模型，可基于点、框或掩码等提示零样本分割任意对象，精度常媲美甚至超越专用模型。多项研究提出HQ-SAM、PerSAM、TinySAM等改进，提升细节、个性化与效率，并探索其在遥感、医学图像等领域的应用与局限。
延伸解读
SAM 的零样本能力与局限
文章指出，SAM 基于点、框或掩码等提示即可零样本分割任意对象，在多个视觉基准上精度常媲美甚至超越专用模型。然而，在航空图像等特定领域，由于目标特征独特，SAM 仍会出现失败案例。这提示读者：SAM 的通用性虽强，但并非在所有场景下都可靠，实际应用中需结合领域数据评估其表现。
效率优化与轻量化方向
针对 SAM 计算成本高的问题，文章提到多项改进：TinySAM 通过知识蒸馏、后训练量化和分层分割策略，在保持零样本性能的同时大幅降低计算成本；另有方法仅用 SAM 作者发布的 1/50 数据集，便以 50 倍运行时速达到与 SAM 基本相当的性能。这些工作表明，在资源受限场景下，轻量化 SAM 是可行且活跃的研究方向。
个性化与细节增强的改进
HQ-SAM 通过深度融合输入特征并引入可学习的高质量输出 Token，在保持 SAM 零样本设计的同时提升了掩码细节，在 9 个分割数据集中的 7 个零样本迁移协议下验证了有效性。PerSAM 则无需训练，通过位置先验和三种技术实现个性化分割，并推出高效微调变体 PerSAM-F。这些改进让 SAM 更适应特定对象或高精度需求。
医学图像中的评估与增强应用
文章评估了 SAM 在医学图像中的效果，发现性能受任务和数据集影响较大，直接分割效果不高。但 SAM 生成的掩膜、特征和稳定性分数可用于构建和训练更好的医学分割模型，例如增强 U-Net，并在两个数据集上验证了有效性。这说明 SAM 在专业领域更适合作为辅助工具，而非即插即用的解决方案。
Q&A
SAM是什么？它有什么主要特点？
SAM是Meta AI开发的第一个视觉基础分割模型，可以基于点、边界框或掩码等提示零样本分割任意对象，其精度常与专用模型相当甚至超越。
HQ-SAM相比原始SAM有哪些改进？
HQ-SAM在保持SAM零样本设计、高效性和推广性的同时，通过深度融合输入的不同特征并引入可学习的高质量输出Token，提高了掩码细节，实现了精确分割任何对象的能力。
PerSAM如何实现无需训练的个性化分割？
PerSAM首先通过位置先验定位目标概念，然后利用目标引导注意力、目标语义提示和级联后处理三种技术，在其他图像或视频中分割目标，从而适应SAM的私人使用。
TinySAM是如何在保持性能的同时减少计算成本的？
TinySAM通过知识蒸馏、后训练量化和分层分割策略，在保持零样本性能的同时大幅度减少了计算成本。
SAM在医学图像分割中的表现如何？
SAM在医学图像分割上的效果不高，性能受任务和数据集影响较大，需要进一步研究来适应医学图像领域。但其生成的掩膜、特征和稳定性分数可用于构建和训练更好的医学图像分割模型，例如增强U-Net。
SAM在遥感图像分析中的应用潜力如何？
SAM可应用于遥感图像分析，处理来自不同地理背景的航空和轨道影像，但研究发现虽然SAM在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。
