I2VControl-Camera:可调运动强度的精确视频摄像机控制
💡
原文中文,约500字,阅读约需2分钟。
📝
内容提要
我们提出了一种无需训练的摄像机运动控制方案,能够与现有的视频扩散模型结合。该方法仅需一个图像或文本提示,即可生成可控摄像机的视频。通过重排噪点像素,实现视频中的摄像机运动控制,实验结果表明其鲁棒性和生成动态内容的能力。
🎯
关键要点
- 提出了一种无需训练的摄像机运动控制方案。
- 该方法可以与现有的视频扩散模型结合使用。
- 只需一个图像或文本提示即可生成可控摄像机的视频。
- 通过重排噪点像素实现视频中的摄像机运动控制。
- 该方法不需要在带有摄像机注释的数据集上进行有监督的微调。
- 灵感来自中间隐藏变量对生成结果的布局先验。
- 摄像机移动被视为透视变化引起的像素重新排列。
- 方法分为两个阶段:建模图像布局重新排列和生成具有摄像机运动的视频。
- 实验结果表明该方法在控制生成视频的摄像机运动方面的鲁棒性。
- 展示了生成具有动态内容的三维旋转视频的令人印象深刻的结果。
➡️