PM-VIS: 高性能有框标注视频实例分割
内容提要
本文介绍了多种视频实例分割的新方法，如MaskFreeVIS、OpenVIS和VMT。这些方法通过减少人工注释需求，利用高效特征提取和自动注释技术，提升了视频中对象的分割和跟踪性能，并在多个基准测试中展示了其有效性和竞争力。
延伸解读
减少标注依赖的技术路线
文章汇总的多种视频实例分割方法，如MaskFreeVIS、MinVIS和基于边界框伪标签的方法，都致力于降低对逐帧掩码标注的依赖。MaskFreeVIS通过KNN特征匹配避免昂贵的视频掩码注释；MinVIS利用图像实例分割模型和相关性匹配跟踪，减少标注帧需求；而基于边界框的方法则自动生成像素级伪标签。这些技术路线共同指向一个趋势：在保持性能的同时，降低数据标注成本。
开放词汇与文本引导的分割
OpenVIS和开放词汇视频实例分割任务将文本描述引入视频对象分割，使模型能够识别训练数据中未出现的新类别。OpenVIS采用两阶段流程：首先生成所有潜在对象的掩码，然后利用预训练的视觉语言模型预测类别，并通过后处理避免扭曲的提议输入。这类方法扩展了视频实例分割的应用范围，使其更适应开放环境。
性能验证与基准测试
文章提到的方法在多个基准上验证了有效性，包括YouTube-VIS 2019/2021、OVIS、BDD100K MOTS和PASCAL VOC 2012等。例如，基于patch的掩模选择网络在2021年YouTube-VIS挑战赛中获得49.1mAP和第三名；MinVIS在Occluded VIS和YouTube-VIS上达到与完全监督方法相当的性能。这些结果说明减少标注的方法已具备竞争力，但不同基准上的表现差异也提示实际应用中需根据场景选择。
自动注释与细化策略
VMT方法通过视频转换器结构提取细粒度特征，并利用局部和实例级线索优化轨迹的时空区域，同时引入自动注释细化方法。另一项工作证明，添加单个手工标注的掩模帧即可对训练视频目标分割产生足够影响，从而利用伪标签进行训练。这些策略表明，自动注释与少量人工干预结合，能有效提升分割质量，并为构建新基准（如TAO-VOS）提供支持。
Q&A
MaskFreeVIS方法的主要优势是什么？
MaskFreeVIS通过减少人工注释需求，实现高质量的掩码预测，提升视频实例分割性能。
OpenVIS任务的设计理念是什么？
OpenVIS旨在根据文本描述同时分割、检测和跟踪视频中的对象，具有开放词汇设计，能够处理未见过的新类别。
Video Mask Transfiner (VMT)是如何优化视频分割的？
VMT利用高效的视频转换器结构提取细粒度特征，并优化每个轨迹的时空区域，提升分割精度。
MinVIS框架的创新之处在哪里？
MinVIS通过训练图像实例分割模型处理视频帧，最大限度减少对标注帧的需求，取得与完全监督方法相当的性能。
开放词汇视频实例分割的意义是什么？
开放词汇视频实例分割能够处理未见过的新类别，推动了视频实例分割技术的发展。
如何利用深度卷积神经网络生成伪标签？
通过使用边界框注释，深度卷积神经网络可以自动生成像素级别的伪标签，辅助训练视频目标分割方法。
