具有可变形注意力的自主视频目标分割中蒸馏学习

如何在资源受限设备上实现半监督视频对象分割？

本文提出一种基于知识蒸馏与像素对比学习相结合的理论框架，并使用有限内存的小型空时存储网络，在资源受限设备上进行半监督视频对象分割。与最先进模型相比，计算成本只有其一小部分，在三星Galaxy S22上每帧计算32毫秒，并在DAVIS和YouTube基准测试上验证了有效性。

自监督视频对象分割如何利用DINO预训练Transformer？

本文提出一种简单有效的方法，利用DINO预训练Transformer中固有的结构依赖性建立视频中的稳健时空对应关系，通过简单聚类产生有竞争力的分割结果。该方法避免了额外的多模态或槽关注，在多个无监督VOS基准测试中展示了最先进性能，尤其在DAVIS-17-Unsupervised和YouTube-VIS-19等复杂多对象视频分割任务中表现出色。

无监督视频对象分割中如何通过密集特征卷积全制度学习提高精度？

本研究提出一种新的无监督学习方法，使用密集特征表示直接进行卷积全制度的学习来进行视频对象分割。通过一个简单的规则化方案，该方法能够提高分割精度并达到快速的训练收敛，最终在标准视频对象分割基准测试中取得了较高的精度。

压缩视频指代分割中使用了哪些网络模块？

本文提出在压缩视频数据流上进行指代视频目标分割任务的多关注机制网络和基于查询的跨模态Transformer模块，实现了使用单核心直接生成最终分割掩模的复杂后处理过程的目标，结果表明其有效性。

深度循环网络如何同时实现视频对象分割和追踪？

本研究提出一种使用深度循环网络实现同时分割和追踪视频中物体的方法，结合了时间传播和重新识别模块，以及基于注意力的循环蒙版传播方法，在DAVIS 2017基准测试（test-dev集合）上取得了最高的分割和边缘测量平均值（68.2），优于同一分区上获胜解决方案的全球平均值（66.1）。

基于深度学习的视频对象抠图方法如何实现时间连贯性？

该论文提出一种基于深度学习的新型视频对象抠图方法，能够实现时间上连贯的抠图效果，并使用注意力机制的时间聚合模块在特征空间中计算相邻像素沿时间轴的时序相关性，同时利用带有稀疏用户注释关键帧的先进视频对象分割网络进行细调以解决抠图问题。实验结果表明，该方法能够生成适用于各种视频的高质量阿尔法抠图。

自监督学习如何将视频转化为音频-视觉物体？

本文提出一种使用自监督学习把视频转化成一组离散的音频-视觉物体的模型，并通过注意力定位和分组声源，光流聚合信息等方式提高了模型的准确度。实验表明，本模型学习到的音频-视觉对象嵌入可用于解决多说话者音源分离、说话人定位、音频-视觉数据校正和活跃说话人检测等四个任务，同时，使用非人类演讲者数据表明了本方法的可泛化性和比其他相关研究更好的效果。

基于运动线索的Transformer视频分割方法有什么优势？

本研究介绍了一种基于运动线索的分割方法，使用Transformer网络结构，采用自我监督的方法进行训练，结果在公共基准测试中表现优异，证明在现有视频分割模型中，对于运动线索的重要性，以及对视觉外观存在潜在偏差的可能性。