光流反向传播的自监督运动放大

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种自监督方法,用于放大视频中微小的运动,并展示了在监督和无监督光流方法中的有效性。该方法通过操作视频,使其新的光流按比例缩放,并通过训练模型来估计生成视频的光流并惩罚其与给定放大因子的偏差。

🎯

关键要点

  • 本文介绍了一种自监督方法,用于放大视频中微小的运动。

  • 该方法通过操作视频,使其新的光流按所需比例缩放。

  • 提出了一个损失函数来训练模型,估计生成视频的光流并惩罚其与给定放大因子的偏差。

  • 训练涉及对预训练光流网络进行微分。

  • 模型是自监督的,可以通过测试时间调整进一步提高性能。

  • 方法可以扩展为仅放大用户选择的对象的运动。

  • 避免了使用合成放大数据集来训练基于学习的方法的需求。

  • 利用现成的现有运动估计器的功能进行训练。

  • 通过对现实世界和合成视频的视觉质量和定量度量进行评估,展示了方法的有效性。

➡️

继续阅读