💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
奇虎360-AIGC团队和中山大学联合研发的FancyVideo是一种基于UNet架构的视频生成模型，可在消费级显卡上生成任意分辨率、宽高比、风格和运动幅度的视频。通过跨帧文本引导模块，FancyVideo改进了现有文本控制机制，提高了视频生成的质量、文本一致性、运动性和时序一致性。该模型在EvalCrafter Benchmark、UCF-101和MSR-VTT Benchmark上取得了领先的结果。FancyVideo还支持视频扩展和视频回溯操作。未来，FancyVideo团队计划发布更好的模型并上线网页版本供免费使用。
🎯
关键要点
- 奇虎360-AIGC团队与中山大学联合研发的FancyVideo是一种基于UNet架构的视频生成模型。
- FancyVideo可以在消费级显卡上生成任意分辨率、宽高比、风格和运动幅度的视频。
- 该模型通过跨帧文本引导模块改进了现有文本控制机制，提高了视频生成的质量、文本一致性、运动性和时序一致性。
- FancyVideo在EvalCrafter Benchmark、UCF-101和MSR-VTT Benchmark上取得了领先的结果。
- FancyVideo支持视频扩展和视频回溯操作，未来将发布更好的模型并上线网页版本供免费使用。
- 跨帧文本引导模块包含时序信息注入器、时序特征提取器和时序特征增强器，增强了模型的生成能力。
- FancyVideo的训练流程结合了T2I和I2V操作，提升了视频整体画质并减少了训练代价。
- 实验结果显示，FancyVideo在视频生成质量、文本一致性、运动性和时序一致性方面均处于领先地位。
- FancyVideo可以完成T2V和I2V功能，并支持插帧操作。
- FancyVideo上线开源社区不到一周，已有用户搭建了ComfyUI插件，后续将推出更长、更好的模型。
🏷️
标签
➡️
