SimulFlow:无监督视频目标分割中同时提取特征与识别目标
💡
原文中文,约500字,阅读约需1分钟。
📝
内容提要
无监督视频对象分割任务旨在检测视频中最显著的对象。最近的方法使用光流图和RGB图像提取的线索。为了解决运动线索干扰问题,设计了一种新型网络,将运动线索视为可选项。通过随机提供RGB图像而不是光流图进行网络训练,降低了网络的运动依赖性。该方法在公共基准数据集上具有最先进的性能,且实时推理速度快。
🎯
关键要点
- 无监督视频对象分割旨在检测视频中最显著的对象,且不依赖外部指导。
- 最近的方法结合使用光流图和RGB图像提取的线索,但光流图可能导致网络过度依赖运动线索。
- 设计了一种新型网络,将运动线索视为可选项,以降低网络的运动依赖性。
- 在网络训练期间,随机提供RGB图像而非光流图给运动编码器。
- 学习到的运动编码器能够处理RGB图像和光流图,生成两种不同的预测。
- 提出了一种自适应输出选择算法,以在测试时采用最佳的预测结果。
- 该方法在公共基准数据集上表现出最先进的性能,并保持实时推理速度。
➡️