AniClipart：使用文本到视频先验的剪贴艺术动画
内容提要
本文提出了一种通过文本提示为素描添加动作并生成可编辑短动画的方法，利用预训练的文本到视频模型进行评分蒸馏，建模小局部变形和全局仿射变换。研究表明，即使是表现不佳的模型也能支持动画表达。通过动态建模模块和视频剪辑训练，现有文本到图像模型能够生成个性化动态图像。此外，AnimeInterp 框架有效解决了动画视频插帧问题，提升了视觉质量和鲁棒性。
延伸解读
无需大量训练，利用预训练模型先验
AniClipart 的核心优势在于无需针对素描动画进行广泛训练。它通过评分蒸馏损失，从大型预训练文本到视频扩散模型中提取运动先验，直接引导笔画放置。这意味着即使没有专门的动画数据集，也能为单个素描生成短动画，降低了训练成本和技术门槛。
局部变形与全局变换的双重建模
方法将学习到的动作分解为两个组件：一个负责小局部变形，另一个负责全局仿射变换。这种分离使得动画既能表现细节的微妙变化，又能实现整体运动，同时生成的矢量表示便于后续编辑，为创作者提供了灵活性。
表现不佳的模型也能支持动画表达
研究发现，即使是在生成素描视频方面表现不佳的文本到视频模型，仍然可以作为动画抽象表达的有用支撑。这表明动画生成对模型性能的要求可能低于视频生成，为利用现有模型进行创意应用提供了新思路。
相关技术背景与扩展
文章还提及了多个相关研究，如 AnimeInterp 框架解决动画视频插帧问题，以及动态建模模块使文本到图像模型生成动态图像。这些工作共同展示了文本到视频先验在动画和视频生成领域的广泛应用潜力。
Q&A
AniClipart的主要功能是什么？
AniClipart通过文本提示为素描添加动作，并生成可编辑的短动画。
该方法如何利用预训练模型进行动画生成？
该方法利用大型预训练的文本到视频扩散模型进行评分蒸馏，建模小局部变形和全局仿射变换。
即使表现不佳的模型也能支持动画表达，这一发现有什么意义？
这一发现表明，即使是性能较差的模型也可以用于动画的抽象表达，拓宽了动画生成的可能性。
AnimeInterp框架解决了什么问题？
AnimeInterp框架有效解决了动画视频插帧问题，提升了颜色匹配和非线性动作的处理能力。
如何通过动态建模模块生成个性化动态图像？
通过在冻结的文本到图像模型中插入动态建模模块并进行视频剪辑训练，可以生成多样化和个性化的动态图像。
该研究的创新点有哪些？
该研究的创新点包括使用文本提示生成动画、评分蒸馏技术以及AnimeInterp框架的提出。
