Meta发布了第二代“Segment Anything AI”——SAM2,它现在可以进行实时视频分割和跟踪。该模型的代码、权重和数据集都是开源的。SAM2使用选择和细化的两步过程来交互式地分割视频中的对象。它还引入了一个记忆模块来处理视频分割中的对象运动、变形、遮挡和光照变化等挑战。该模型在一个名为SA-V的大规模数据集上进行了训练,该数据集包含51,000个真实世界的视频和600,000个时空掩模。SAM2能够处理长视频,并为模糊的对象生成多个掩模。该模型在解决过分分割问题方面表现出了良好的性能。然而,在某些情况下,它仍可能会丢失对象的跟踪,并且对于快速移动的对象可能会有困难。该模型是开源的,可免费使用。
完成下面两步后,将自动完成登录并继续当前操作。