一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流
内容提要
Stable Video Diffusion (SVD)是一种图像到视频的模型,可以以可定制的帧率生成14和25帧的视频,帧率范围为3到30帧每秒。1.1版本的模型可以以1024x576的分辨率生成25帧。SVD是一个开源模型,擅长直接生成视频。它与AnimateDiff等其他视频生成技术不同,但可以一起使用。文章还提到了免费试用和购买资源。引入了ComfyUI工具,用于部署和使用SVD模型进行视频生成。文章最后提到了进一步改进生成的视频的可能性。
延伸解读
SVD 与 AnimateDiff 的技术差异
SVD 是图像到视频模型,直接生成短视频,类似 GIF 形式;而 AnimateDiff 是另一种视频生成技术。两者原理不同,但可以结合使用,例如先用 SVD 生成视频,再通过高清修复和 AnimateDiff 重绘来提升质量。这种组合方式为视频生成提供了更多灵活性。
部署 SVD 的硬件与资源准备
在 PAI-EAS 上部署 SVD 需要 GPU 资源,推荐选择 A10,缺货时可选用 V100 或 T4。用户可领取免费试用一个月的 A10/V100 资源,但每日限额,先到先得。若免费额度用完,可购买 59 元抵扣 200 元的资源包。部署时建议切换区域至华北 2(北京),并勾选 OSS 选项。
ComfyUI 中 SVD 的关键参数解析
在 ComfyUI 中,SVD 参数包括视频分辨率、帧数、动态 bucketid 和帧率。分辨率不宜调得太大;动态 bucketid 值越大,画面运动幅度越大。线性 CFG 引导会在不同帧之间按线性缩放 CFG 值,例如设置为 1 时,实际 CFG 从 1 线性变化到 2.5。这些参数允许用户灵活控制生成视频的效果。
从入门到进阶:SVD 工作流的扩展可能
文章展示的工作流是一个入门级文生视频流程,先生成图像再输入 SVD 生成视频。用户也可以直接输入自己的图像,实现图生视频。此外,采样器输出每一帧图像,可以接上高清修复流程进行放大,或结合其他重绘流程进一步提升视频质量。这为后续进阶玩法留下了空间。
Q&A
Stable Video Diffusion(SVD)是什么?
SVD是一种图像到视频的模型,能够以3到30帧每秒的可定制帧率生成视频。
如何在PAI控制台部署ComfyUI工具?
在PAI控制台选择EAS服务,点击部署服务,自定义输入实例名称,选择ComfyUI镜像并配置资源,最后等待部署完成。
SVD模型的分辨率和帧数限制是什么?
1.1版本的SVD模型可以在1024x576的分辨率下生成25帧视频,支持的帧率范围为3到30帧每秒。
SVD与AnimateDiff有什么区别?
SVD和AnimateDiff是不同的技术,SVD专注于直接生成视频,而AnimateDiff可以用于后续的重绘和提升分辨率。
如何生成GIF格式的视频?
在ComfyUI中生成视频后,选择合并为视频并将格式改为GIF,最后保存生成的视频。
SVD模型的后续改进有哪些可能性?
后续可以结合高清修复和重绘流程,进一步提升生成视频的质量。