ControlNet作者新项目爆火:仅一张图生成25秒绘画全过程!不到一天GitHub揽星600+

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

ControlNet作者张吕敏发布了新项目Paints-Undo,能将图像拆解成绘画过程视频。项目在GitHub上获得了600+星,受到网友好评。Paints-Undo包含多个模型,展示了绘画行为。发布了两个型号,可生成单帧或多帧视频。项目代码库提供本地部署方式。

🔎

延伸解读

技术架构:单帧与多帧模型的协同

Paints-Undo 包含单帧和多帧两个模型。单帧模型基于 SD1.5 架构,输入一张图和操作步数,输出一张图;多帧模型基于 VideoCrafter,输入两张图,输出 16 帧中间帧。默认方法结合两者:先用单帧模型生成关键帧,再用多帧模型插值,以生成更长的视频。这种设计平衡了灵活性与一致性,但多帧模型速度较慢。

硬件需求与生成效率

项目测试在 24GB 显存的 Nvidia 4090 或 3090TI 上进行,理论上 16GB 显存也够用,但 8GB 不行,最少需要 10 到 12.5GB 显存。处理一张图大约需要 5-10 分钟,生成视频时长为 25 秒,帧率 4FPS,分辨率可选 320×512、512×320、384×448 或 448×384。用户需根据自身硬件评估可行性。

应用潜力与风险

Paints-Undo 能生成从线稿到上色的完整绘画过程,甚至支持线稿绘制、多输出和不同精细度线稿提取。这为艺术创作、教学演示提供了便利,但也可能被用于伪造手绘过程,增加误导风险。网友评论“手绘伪造成本又低了”即反映了这种担忧。

❓

Q&A

Paints-Undo项目的主要功能是什么?

Paints-Undo项目能够将图像拆解成绘画过程视频,展示从线稿到上色的全过程。

Paints-Undo在GitHub上发布后获得了多少星?

Paints-Undo在GitHub上发布不到24小时,获得了600+星。

Paints-Undo包含哪些模型?

Paints-Undo包含单帧模型和多帧模型,分别为paints_undo_single_frame和paints_undo_multi_frame。

使用Paints-Undo生成视频需要什么样的硬件配置?

生成视频需要24GB显存的Nvidia 4090或3090TI,理论上16GB显存也够用。

Paints-Undo的多帧模型与单帧模型有什么区别?

多帧模型输入两张图片,输出16帧中间帧,结果更一致但处理速度较慢;单帧模型则基于一张图和一个操作步骤输出一张图。

如何在本地部署Paints-Undo项目?

可以通过项目的GitHub代码库进行本地部署,具体步骤在代码库中有说明。

🏷️

标签

➡️

继续阅读