点指上行视频目标分割
内容提要
本文综述视频对象分割（VOS）的多项研究，包括：两帧标记训练范式，仅用7.3%和2.9%标记数据即达全监督水平；利用边界框生成伪标签并建立TAO-VOS基准；提出半监督VIPOSeg数据集及PAOT方法，获VOT2022第一；EVA-VOS人机协作框架提速3.5倍；以及少样本学习、无监督密集特征、轻量级外观模型、SpVOS稀疏卷积、多网络集成和序列到序列网络等成果。
延伸解读
标注效率的突破
文章指出，仅使用7.3%和2.9%的标记数据，就能在YouTube-VOS和DAVIS基准上达到与全监督训练相当的效果。这得益于伪标签生成技术，它利用稀疏注释和边界框自动生成像素级标签，显著降低了标注成本。对于实际应用，这意味着在标注资源有限时，仍可训练出高性能模型。
半监督与基准创新
文章介绍了半监督VOS的概念，并构建了VIPOSeg数据集和PAOT方法，在VOT2022挑战中获得第一。同时，基于边界框注释的TAO-VOS基准为算法不足提供了改进空间。这些工作推动了VOS在复杂场景下的评估，为研究者提供了新的测试平台和强基线。
人机协作与效率提升
EVA-VOS框架通过代理模型进行帧选择和注释类型预测，将注释速度提升3.5倍。这种协作模式在保证准确度的同时，大幅减少了人工工作量，适合需要快速生成掩模的应用场景，如视频编辑和自动驾驶数据标注。
轻量化与稀疏化趋势
文章提到SpVOS稀疏卷积和轻量级外观模型等方法，旨在降低计算成本并保持性能。SpVOS通过三元稀疏卷积平衡分割性能和计算开销，适合资源受限场景；轻量级模型则通过快速优化实现高帧率。这些方向表明VOS正朝着高效部署发展。
Q&A
视频对象分割中，如何用少量标注数据达到全监督水平？
通过两帧标记训练范式，在训练期间生成伪标签并与已标记数据结合优化模型，仅需稀疏注释。在YouTube-VOS和DAVIS基准上，仅用7.3%和2.9%的标记数据即可取得与全标记集训练相当的结果。
TAO-VOS基准数据集是怎么来的？
利用深度卷积神经网络，基于较便宜的边界框注释自动生成像素级伪标签，并证明添加单个手工标注的掩模图像帧能对VOS训练产生足够影响。将这种方法应用于TAO观察数据集，得到了TAO-VOS基准数据集。
VIPOSeg数据集和PAOT方法是什么？
VIPOSeg是一个半监督视频对象分割的大型基准数据集，基于Panoptic Wild Scenes。PAOT是基于Transformer网格架构的强基线方法，在VIPOSeg和其他VOS基准中取得SOTA性能，并在VOT2022挑战中获得第一名。
EVA-VOS如何加速视频目标分割的注释？
EVA-VOS是一种人机协作注释框架，通过引入代理模型进行逐帧帧选择和注释类型预测，实现高准确度的对象掩模生成，比传统视频注释方法快3.5倍，并降低注释时间。
SpVOS稀疏基线方法有什么特点？
SpVOS是一种VOS稀疏基线方法，通过开发新颖的三元稀疏卷积来减少整体VOS框架的计算成本，并结合稀疏训练策略平衡分割性能和计算成本，在资源受限场景下具有应用潜力。
基于序列到序列网络的视频对象分割取得了什么成果？
该研究介绍了一个基于大规模数据集的序列-序列网络，能够充分利用视频的长期时空信息进行分割，在YouTube-VOS测试集上取得了最佳结果，在DAVIS 2016上与现有最先进方法相比也有可比性。
