Meta「分割一切」进化2.0！跟踪运动物体，代码权重数据集全开源
内容提要
Meta发布了第二代“Segment Anything AI”——SAM2，它现在可以进行实时视频分割和跟踪。该模型的代码、权重和数据集都是开源的。SAM2使用选择和细化的两步过程来交互式地分割视频中的对象。它还引入了一个记忆模块来处理视频分割中的对象运动、变形、遮挡和光照变化等挑战。该模型在一个名为SA-V的大规模数据集上进行了训练，该数据集包含51,000个真实世界的视频和600,000个时空掩模。SAM2能够处理长视频，并为模糊的对象生成多个掩模。该模型在解决过分分割问题方面表现出了良好的性能。然而，在某些情况下，它仍可能会丢失对象的跟踪，并且对于快速移动的对象可能会有困难。该模型是开源的，可免费使用。
延伸解读
从图像到视频：SAM2的核心升级
SAM2将分割能力从静态图像扩展到视频领域，支持实时处理任意长视频，并能分割和追踪未见过的对象。其核心创新是引入流式记忆模块，使模型能利用先前帧信息辅助当前帧分割，从而应对视频中的运动、变形、遮挡和光照变化。这一升级让SAM2在视频分割任务中实现了zero-shot泛化，并提升了分割和追踪的准确性。
交互式分割：选择与细化两步走
SAM2采用选择与细化的两步交互过程：用户在第一帧点击目标对象，模型自动将分割传播到后续帧；若丢失目标，用户可在新帧中提供额外提示进行校正。这种设计允许模型在视频中迭代改进分割结果，并支持实时交互修正。对于模糊对象，SAM2会输出多个有效掩码，并按置信度选择，从而减少过度分割问题。
SA-V数据集：规模与构建方式
SA-V数据集包含51,000个真实世界视频和600,000个时空掩码，规模是现有最大同类数据集的4.5倍，注释量是其53倍。研究团队构建了数据引擎，利用SAM2辅助人工注释，并循环迭代更新模型和数据集。这种方法使收集视频对象分割掩码的速度比SAM快8.4倍，且不对掩码进行语义约束，更关注完整物体。
性能与局限：优势与不足
SAM2在解决过度分割问题上表现良好，与半监督SOTA方法相比各项性能不错。然而，它仍可能跟丢对象，尤其在相机视角变化大或拥挤场景中；对于快速移动的对象，细节可能缺失。为此，团队设计了实时交互模式支持手动修正。此外，模型训练在256块A100上耗时108小时，成本相对较低。
Q&A
SAM2的主要功能是什么？
SAM2主要支持实时视频分割和跟踪，能够处理任意长视频，并分割未见过的对象。
SAM2是如何处理视频中的遮挡问题的？
SAM2增加了一个“遮挡头”模型输出，用于预测对象是否在当前帧上，从而解决遮挡问题。
SAM2的开源情况如何？
SAM2的代码、权重和数据集均为开源，遵循Apache 2.0许可协议，用户可以免费使用。
SAM2在处理模糊对象时的表现如何？
SAM2能够生成多个有效掩码，以处理模糊对象的情况，提供不同的分割预测。
SAM2的训练数据集有多大？
SAM2在SA-V数据集上训练，该数据集包含51,000个视频和600,000个时空掩码，规模远超以往数据集。
SAM2与上一代SAM相比有哪些改进？
SAM2相比于上一代，支持任意长视频实时分割，准确性提升，并解决了遮挡问题。
