Meta发布了第二代“Segment Anything AI”——SAM2，它现在可以进行实时视频分割和跟踪。该模型的代码、权重和数据集都是开源的。SAM2使用选择和细化的两步过程来交互式地分割视频中的对象。它还引入了一个记忆模块来处理视频分割中的对象运动、变形、遮挡和光照变化等挑战。该模型在一个名为SA-V的大规模数据集上进行了训练，该数据集包含51,000个真实世界的视频和600,000个时空掩模。SAM2能够处理长视频，并为模糊的对象生成多个掩模。该模型在解决过分分割问题方面表现出了良好的性能。然而，在某些情况下，它仍可能会丢失对象的跟踪，并且对于快速移动的对象可能会有困难。该模型是开源的，可免费使用。

本文介绍了基于Ego4D的RefEgo数据集，包含12k个视频剪辑和41小时的引用表达理解批注。通过结合最先进的2D引用表达理解模型和对象跟踪算法，实现了困难条件下的视频对象跟踪。