介绍 SAM 2：下一代 Meta 视频和图像分割模型 [译]
内容提要
Meta发布了SAM 2，这是一个能够实时对图像和视频进行对象分割的统一模型。SAM 2在准确性和性能方面超过了以前的模型，可以在任何视频或图像中分割任何对象，无需定制。该模型具有各种潜在应用，例如创建新的视频效果和辅助视觉数据注释。Meta还分享了SA-V数据集，并发布了一个Web演示供用户尝试该模型。
延伸解读
SAM 2 的架构创新：记忆机制与流式处理
SAM 2 的核心突破在于将图像分割模型扩展到视频领域。它引入了记忆编码器、记忆库和记忆注意模块，能够存储和回忆视频中对象的信息，从而在时间维度上传播分割掩码。这种流式架构支持逐帧处理，实现对任意长度视频的实时分割，推理速度达到约44帧/秒。同时，遮挡检测模块帮助处理对象暂时消失的情况，使模型在复杂视频场景中更鲁棒。
SA-V 数据集：规模与多样性推动视频分割进步
Meta 发布的 SA-V 数据集包含约51,000个视频和超过600,000个掩码片段，规模远超现有视频分割数据集。其标注覆盖整个物体和物体部分，并包含遮挡、消失和重现等挑战性场景。数据集通过交互式标注流程构建，利用 SAM 2 辅助人工标注，速度比逐帧使用 SAM 快8.4倍。这种大规模、多样化的数据为训练通用视频分割模型奠定了基础。
性能提升与局限：实际应用需注意的场景
SAM 2 在图像和视频分割任务上均优于前代模型，在17个零样本视频数据集上交互次数减少约三分之二，图像分割速度快六倍。然而，模型在剧烈相机运动、长时间遮挡、拥挤场景或长视频中可能丢失目标，且可能混淆外观相似的物体。对于快速移动的物体，预测细节可能不稳定。用户可通过在后续帧中添加提示进行交互式修正，但时间平滑性未做保证。
开放科学与应用前景：从创意工具到科学研究
Meta 以 Apache 2.0 许可证开源 SAM 2 的代码和权重，并以 CC BY 4.0 共享 SA-V 数据集，同时提供 Web 演示。该模型可无缝用于图像和视频，支持零样本泛化，潜在应用包括视频特效生成、视觉数据标注加速、自动驾驶系统训练、医学影像分析等。其快速推理能力为实时视频交互开辟了新可能，但多物体分割时效率会降低，因模型独立处理每个物体。
Q&A
SAM 2 是什么？
SAM 2 是 Meta 发布的一个统一模型，能够实时对图像和视频进行对象分割。
SAM 2 的主要优势是什么？
SAM 2 在准确性和性能上超过了以前的模型，支持分割任何对象，无需定制，且交互时间减少三分之一。
SA-V 数据集包含哪些内容？
SA-V 数据集包含约51,000个视频和超过600,000个掩码，支持视频对象分割的研究。
SAM 2 的潜在应用有哪些？
SAM 2 可用于创建新的视频效果、辅助视觉数据注释、科学研究等多种应用。
SAM 2 如何处理视频中的对象分割？
SAM 2 通过记忆机制和提示视觉分割任务，在视频的每一帧中进行对象分割，并传播掩码预测。
SAM 2 存在什么局限性？
尽管表现优异，SAM 2 在复杂场景中仍有提升空间，可能会混淆相似物体或在快速运动中失去追踪。
