RTX3090可跑，360AI团队开源最新视频模型FancyVideo，红衣大叔都说好
内容提要
奇虎360-AIGC团队和中山大学联合研发的FancyVideo是一种基于UNet架构的视频生成模型，可在消费级显卡上生成任意分辨率、宽高比、风格和运动幅度的视频。通过跨帧文本引导模块，FancyVideo改进了现有文本控制机制，提高了视频生成的质量、文本一致性、运动性和时序一致性。该模型在EvalCrafter Benchmark、UCF-101和MSR-VTT Benchmark上取得了领先的结果。FancyVideo还支持视频扩展和视频回溯操作。未来，FancyVideo团队计划发布更好的模型并上线网页版本供免费使用。
延伸解读
消费级显卡上的视频生成突破
FancyVideo 能在 RTX 3090 等消费级显卡上运行，并生成任意分辨率、宽高比、风格和运动幅度的视频，这降低了视频生成的门槛。对于个人开发者和中小团队，无需高端专业显卡即可尝试高质量视频生成，有利于技术普及和创新应用。
跨帧文本引导模块的技术创新
FancyVideo 的核心创新是跨帧文本引导模块（CTGM），它包含时序信息注入器、时序特征提取器和时序特征增强器。该模块改进了传统空间交叉注意力对文本引导的不足，增强了模型对时间逻辑的理解，从而提升视频的文本一致性、运动性和时序一致性。
训练策略与性能表现
FancyVideo 基于 2D T2I 模型插入时序层和运动性模块构建，训练时先进行 T2I 生成首帧，再进行 I2V，既保留 T2I 能力提升画质，又减少训练代价。在 EvalCrafter、UCF-101 和 MSR-VTT 等基准上，其在视频质量、文本一致性、运动性和时序一致性方面均取得领先结果。
应用场景与未来规划
FancyVideo 支持文本到视频（T2V）和图像到视频（I2V）功能，还能进行插帧、视频扩展和视频回溯。开源不到一周已有用户搭建 ComfyUI 插件，团队计划发布更长、更好的模型，并上线免费网页版本，进一步推动视频生成技术的应用。
Q&A
FancyVideo是什么类型的模型？
FancyVideo是一种基于UNet架构的视频生成模型。
FancyVideo支持哪些视频生成功能？
FancyVideo支持生成任意分辨率、宽高比、风格和运动幅度的视频，还支持视频扩展和视频回溯操作。
FancyVideo的跨帧文本引导模块有什么作用？
跨帧文本引导模块改进了文本控制机制，提高了视频生成的质量、文本一致性、运动性和时序一致性。
FancyVideo在评测中表现如何？
FancyVideo在EvalCrafter Benchmark、UCF-101和MSR-VTT Benchmark上取得了领先的结果，显示出其在视频生成质量和文本一致性方面的优势。
FancyVideo的训练流程是怎样的？
FancyVideo的训练流程结合了T2I和I2V操作，先生成首帧再进行视频生成，从而提升整体画质并减少训练代价。
FancyVideo未来有什么计划？
FancyVideo团队计划发布更好的模型并上线网页版本供免费使用。
