再探基于学习的视频运动放大实时处理

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种简单的自监督方法,用于放大视频中微小的运动,并通过操作视频来实现光流的缩放。通过训练模型估计生成视频的光流并惩罚其与给定放大因子的偏差程度,避免了使用合成放大数据集的需求。通过评估视觉质量和定量度量,展示了方法的有效性。

🎯

关键要点

  • 本文介绍了一种自监督方法,用于放大视频中微小的运动。

  • 通过操作视频,使其新的光流按所需比例缩放。

  • 提出了一个损失函数来训练模型,估计生成视频的光流并惩罚其与放大因子的偏差。

  • 训练涉及对预训练光流网络进行微分。

  • 模型是自监督的,可以通过测试时间调整进一步提高性能。

  • 方法可以扩展为仅放大用户选择的对象的运动。

  • 避免了使用合成放大数据集的需求,利用现成的运动估计器功能。

  • 通过视觉质量和定量度量评估方法的有效性。

➡️

继续阅读