LSVOS挑战报告：大规模复杂和长视频目标分割
内容提要
本文介绍了视频对象分割（VOS）领域的研究进展，包括基于大规模数据集的序列-序列网络、RVOS与VOS模型的结合，以及新提出的Segment Anything Model 2（SAM 2）。研究表明，SAM 2在多个挑战性数据集上表现优异，有效解决了物体遮挡和跟踪问题，推动了VOS技术的发展。
延伸解读
数据集演进：从YouTube-VOS到LVOS
文章梳理了视频对象分割数据集的演进脉络。2018年提出的YouTube-VOS包含4,453个视频和94个类别，是当时最大的VOS数据集之一。而2024年提出的LVOS基准，视频长度是现有数据集的5倍，更贴近真实场景。评估显示，20个现有VOS模型在LVOS上性能大幅下降，说明长视频对模型的长期时空建模能力提出了更高要求。
SAM 2的零样本能力与局限
Segment Anything Model 2（SAM 2）通过用户交互构建数据引擎，收集了迄今最大的分割数据集。文章指出，SAM 2无需微调即可在MOSE和LVOS等挑战性数据集上取得75.79的J分数，展现了强大的零样本泛化能力。但LVOS上的性能下降也提示，面对真实场景中的复杂运动与遮挡，仅靠零样本仍可能不足，需结合其他策略。
模型融合策略在挑战赛中的实践
文章介绍了多种在LSVOS挑战赛中取得优异成绩的模型融合方案。例如，结合SAM2和Cutie模型，通过调试超参数，在VOS赛道测试阶段获得0.7952的J分数；另一项工作利用SAM-v2的跟踪能力提升RVOS模型的时间一致性，在ECCV 2024 LSVOS挑战赛RVOS赛道获得第二名。这些实践表明，融合不同模型的优势是应对遮挡、分裂等复杂场景的有效途径。
RVOS与VOS的协同优化
参考视频对象分割（RVOS）需根据语言描述分割目标，而VOS侧重通用分割。文章提到，通过将RVOS模型与两阶段多模型融合策略结合，在Ref-YouTube-VOS验证集上达到75.7%的J&F，测试集70%的J&F，并在ICCV 2023挑战赛第3组排名第一。此外，针对MeViS数据集的动态描述挑战，集成先进RVOS与VOS模型的pipeline在测试集取得62.57 J，显示了协同优化的潜力。
Q&A
什么是视频对象分割（VOS）？
视频对象分割（VOS）旨在在视频中区分和跟踪目标对象。
YouTube-VOS数据集的特点是什么？
YouTube-VOS数据集包含4,453个视频剪辑和94个物体类别，是已知最大的视频对象分割数据集之一。
Segment Anything Model 2（SAM 2）有什么优势？
SAM 2在无需微调的情况下，在MOSE和LVOS等挑战性数据集上表现出色，有效解决了物体遮挡和跟踪问题。
LVOS基准的目的是什么？
LVOS基准包含长5倍的视频，以更好地反映VOS模型在实际场景中的性能。
CSS-Segment方法在LSVOS挑战赛中的表现如何？
CSS-Segment方法在第六届LSVOS挑战赛中表现优异，取得了80.84的J。
RVOS与VOS模型结合的效果如何？
结合RVOS模型与Two-Stage Multi-Model Fusion策略，提出了一种有效的模式，在Ref-Youtube-VOS验证集上实现了75.7%的J&F。
