I2VControl-Camera:可调运动强度的精确视频摄像机控制

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

我们提出了一种无需训练的摄像机运动控制方案,能够与现有的视频扩散模型结合。该方法仅需一个图像或文本提示,即可生成可控摄像机的视频。通过重排噪点像素,实现视频中的摄像机运动控制,实验结果表明其鲁棒性和生成动态内容的能力。

🎯

关键要点

  • 提出了一种无需训练的摄像机运动控制方案。
  • 该方法可以与现有的视频扩散模型结合使用。
  • 只需一个图像或文本提示即可生成可控摄像机的视频。
  • 通过重排噪点像素实现视频中的摄像机运动控制。
  • 该方法不需要在带有摄像机注释的数据集上进行有监督的微调。
  • 灵感来自中间隐藏变量对生成结果的布局先验。
  • 摄像机移动被视为透视变化引起的像素重新排列。
  • 方法分为两个阶段:建模图像布局重新排列和生成具有摄像机运动的视频。
  • 实验结果表明该方法在控制生成视频的摄像机运动方面的鲁棒性。
  • 展示了生成具有动态内容的三维旋转视频的令人印象深刻的结果。
➡️

继续阅读