CamCo：可控相机的三维一致的图像到视频生成
内容提要
本研究介绍了CameraCtrl模型，通过精确控制相机姿态提升T2V模型的可控性和泛化性。结合三维相机运动和多模态变压器，能够有效生成视频。提出的协作视频扩散（CVD）框架通过跨视频同步模块提高了不同相机轨迹下视频的一致性。此外，CoMo模型在动作生成和编辑方面表现优异，VideoComposer模型实现了合成视频的条件控制。研究还提出了Direct-a-Video和COMD模型，增强了用户对对象和相机运动的控制能力。
延伸解读
相机控制技术的演进与对比
文章介绍了多种相机控制模型，如CameraCtrl、CVD、Direct-a-Video和COMD，它们分别从不同角度提升视频生成的可控性。CameraCtrl通过精确控制相机姿态增强T2V模型；CVD利用跨视频同步模块提高多轨迹一致性；Direct-a-Video允许独立指定对象和相机运动；COMD则无需训练即可转移相机运动。这些方法各有侧重，共同推动了相机控制技术的发展。
多视频一致性的挑战与突破
从多个不同相机轨迹生成相同场景的视频仍具挑战性，CVD框架通过极线注意机制促进不同相机姿态下对应帧的一致性，实验证明其生成的多视频比基准线具有更好的一致性。这一突破为可编辑相机轨迹的大规模三维场景生成等应用奠定了基础。
动作生成与编辑的新方法
CoMo模型利用大型语言模型的先验知识，将动作分解为离散的姿势代码，通过调整代码实现直接干预动作编辑。实验表明，CoMo在运动生成方面具有竞争力，且在动作编辑能力上远超先前工作。这为精细控制人物动作提供了新思路。
无需训练的高效视频生成
ControlVideo和COMD等模型展示了无需训练即可实现高效视频生成的可能性。ControlVideo基于文本驱动扩散模型，使用三个模块实现外观协调、帧插值和分层采样，能在几分钟内生成高质量视频；COMD则通过分离和转移相机运动，实现灵活控制。这些方法降低了应用门槛。
Q&A
CameraCtrl模型的主要功能是什么？
CameraCtrl模型通过精确控制相机姿态来提升T2V模型的可控性和泛化性。
协作视频扩散（CVD）框架的作用是什么？
CVD框架通过跨视频同步模块提高了不同相机轨迹下视频的一致性。
CoMo模型在动作生成方面有什么优势？
CoMo模型在动作生成和编辑方面表现优异，能够通过调整姿势代码实现直接干预动作编辑。
Direct-a-Video模型的创新之处是什么？
Direct-a-Video模型允许用户独立指定对象和相机的运动，采用新的时间交叉注意力层来控制运动参数。
ControlVideo模型是如何实现文本到视频生成的？
ControlVideo模型无需训练，使用三个模块实现外观协调、帧插值和分层采样，能够高效生成视频。
PoseAnimate框架的主要特点是什么？
PoseAnimate框架通过整合多样化的姿势信号，增强了时序一致性和动画精度。
