CamCo:可控相机的三维一致的图像到视频生成

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

视频生成研究取得巨大进展,能从文字或图像生成高质量视频。解决不同相机轨迹生成相同场景视频的挑战,引入协作视频扩散(CVD)是重要一步。经实验证明,CVD生成的多个视频比基准线更一致。

🎯

关键要点

  • 视频生成研究取得巨大进展,能够从文字或图像生成高质量视频。

  • 为视频生成过程添加控制是一个重要目标,最近的方法通过条件化相机轨迹来实现。

  • 从不同相机轨迹生成相同场景的视频仍然具有挑战性。

  • 解决多视频生成问题可以实现可编辑相机轨迹的大规模三维场景生成。

  • 引入协作视频扩散(CVD)作为实现这一愿景的重要一步。

  • CVD框架包括一个新颖的跨视频同步模块,促进不同相机姿态下视频帧的一致性。

  • 实验证明,CVD生成的多个视频比基准线具有显著更好的一致性。

➡️

继续阅读