量子位
·
ControlNet作者新项目爆火：仅一张图生成25秒绘画全过程！不到一天GitHub揽星600+
💡
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
ControlNet作者张吕敏发布了新项目Paints-Undo，能将图像拆解成绘画过程视频。项目在GitHub上获得了600+星，受到网友好评。Paints-Undo包含多个模型，展示了绘画行为。发布了两个型号，可生成单帧或多帧视频。项目代码库提供本地部署方式。
🎯
关键要点
- ControlNet作者张吕敏发布新项目Paints-Undo，能将图像拆解成绘画过程视频。
- 项目在GitHub上发布不到24小时，获得600+星，受到网友好评。
- Paints-Undo包含多个模型，展示了各种人类绘画行为，包括素描、勾线、上色等。
- 发布了两个型号：paints_undo_single_frame和paints_undo_multi_frame。
- 单帧模型基于SD1.5架构，输入一张图和一个操作步骤，输出一张图。
- 多帧模型基于VideoCrafter，输入两张图片，输出16帧中间帧，结果更一致但处理速度较慢。
- 代码库默认方法是结合使用单帧和多帧模型生成视频。
- 项目测试需要24GB显存的Nvidia 4090或3090TI，处理一张图需5-10分钟。
- 生成视频时长为25秒，帧率为4FPS，分辨率为320×512、512×320等。
- 除了生成完整视频，还可以生成线稿绘制过程或不同精细程度的线稿。
🏷️
标签
➡️
