ControlNet作者新项目爆火:仅一张图生成25秒绘画全过程!不到一天GitHub揽星600+
内容提要
ControlNet作者张吕敏发布了新项目Paints-Undo,能将图像拆解成绘画过程视频。项目在GitHub上获得了600+星,受到网友好评。Paints-Undo包含多个模型,展示了绘画行为。发布了两个型号,可生成单帧或多帧视频。项目代码库提供本地部署方式。
延伸解读
技术架构:单帧与多帧模型的协同
Paints-Undo 包含单帧和多帧两个模型。单帧模型基于 SD1.5 架构,输入一张图和操作步数,输出一张图;多帧模型基于 VideoCrafter,输入两张图,输出 16 帧中间帧。默认方法结合两者:先用单帧模型生成关键帧,再用多帧模型插值,以生成更长的视频。这种设计平衡了灵活性与一致性,但多帧模型速度较慢。
硬件需求与生成效率
项目测试在 24GB 显存的 Nvidia 4090 或 3090TI 上进行,理论上 16GB 显存也够用,但 8GB 不行,最少需要 10 到 12.5GB 显存。处理一张图大约需要 5-10 分钟,生成视频时长为 25 秒,帧率 4FPS,分辨率可选 320×512、512×320、384×448 或 448×384。用户需根据自身硬件评估可行性。
应用潜力与风险
Paints-Undo 能生成从线稿到上色的完整绘画过程,甚至支持线稿绘制、多输出和不同精细度线稿提取。这为艺术创作、教学演示提供了便利,但也可能被用于伪造手绘过程,增加误导风险。网友评论“手绘伪造成本又低了”即反映了这种担忧。
Q&A
Paints-Undo项目的主要功能是什么?
Paints-Undo项目能够将图像拆解成绘画过程视频,展示从线稿到上色的全过程。
Paints-Undo在GitHub上发布后获得了多少星?
Paints-Undo在GitHub上发布不到24小时,获得了600+星。
Paints-Undo包含哪些模型?
Paints-Undo包含单帧模型和多帧模型,分别为paints_undo_single_frame和paints_undo_multi_frame。
使用Paints-Undo生成视频需要什么样的硬件配置?
生成视频需要24GB显存的Nvidia 4090或3090TI,理论上16GB显存也够用。
Paints-Undo的多帧模型与单帧模型有什么区别?
多帧模型输入两张图片,输出16帧中间帧,结果更一致但处理速度较慢;单帧模型则基于一张图和一个操作步骤输出一张图。
如何在本地部署Paints-Undo项目?
可以通过项目的GitHub代码库进行本地部署,具体步骤在代码库中有说明。