ControlNet作者又出爆款！一张图生成绘画全过程，两天狂揽1.4k Star
内容提要
PaintsUndo是一个绘画视频生成工具，用户输入一张静态图像，PaintsUndo会自动生成整个绘画的全过程视频。它能处理不同类型的图像，并生成相应的绘画过程视频。PaintsUndo的强大之处在于一系列模型的支持，它们以图像作为输入，输出图像的绘制序列。项目部署简单，处理一张图像大约需要5到10分钟。目前发布了单帧模型和多帧模型。
延伸解读
技术架构：单帧与多帧模型的协同
PaintsUndo 的核心在于单帧模型和多帧模型的组合。单帧模型基于 SD1.5 修改，以图像和操作步骤为输入，输出单幅图像，用于生成关键帧；多帧模型基于 VideoCrafter 但重新实现了训练和推理代码，输入两幅图像输出 16 个中间帧，用于插值。默认流程先用单帧模型推理 5-7 次得到关键帧，再用多帧模型插值，从而生成较长视频。这种设计平衡了创意与一致性。
性能与资源需求
根据作者测试，PaintsUndo 在 Nvidia 4090 和 3090TI 上使用 24GB VRAM 进行推理。在极端优化（如权重卸载和注意力切片）下，理论最小 VRAM 需求约为 10-12.5 GB。处理一张图像预计需要 5 到 10 分钟，通常生成时长 25 秒、分辨率 320x512、512x320、384x448 或 448x384 的视频。这些数据为部署提供了参考。
模型能力与局限
PaintsUndo 能复现多种人类绘画行为，包括素描、上墨、着色、阴影、变换、左右翻转、颜色曲线调整、更改图层可见性，甚至更改整体思路。然而，它在处理复杂构图时存在困难，作者表示项目仍在完善中。此外，多帧模型虽然结果更一致，但速度更慢、创意更少，且仅限于 16 帧。这些局限提醒用户在实际应用中注意场景适配。
Q&A
PaintsUndo是什么工具？
PaintsUndo是一个绘画视频生成工具，用户输入静态图像即可生成整个绘画过程的视频。
如何使用PaintsUndo生成绘画视频？
用户只需输入一张静态图像，PaintsUndo会自动生成绘画全过程视频，处理时间约为5到10分钟。
PaintsUndo支持哪些类型的图像？
PaintsUndo支持不同类型的图像，能够生成相应的绘画过程视频。
PaintsUndo的模型有哪些？
PaintsUndo发布了单帧模型和多帧模型，分别用于不同的绘画生成需求。
PaintsUndo在处理复杂构图时有什么问题？
PaintsUndo在处理复杂构图时存在困难，项目仍在不断完善中。
如何在本地部署PaintsUndo？
本地部署PaintsUndo非常简单，只需几行代码即可完成。
