量子位
·
鹅厂开源视频生成大杀器！参考图主体精准复刻，还能编辑现有视频
💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
鹅厂开源的视频生成模型HunyuanCustom具备主体一致性、局部编辑和角色配音等功能，目前已上线单主体参考，其他功能将在本月发布。该模型在身份一致性和主体相似性方面表现优异，适合广告制作和视频编辑。
🎯
关键要点
- 鹅厂开源视频生成模型HunyuanCustom，具备主体一致性、局部编辑和角色配音等功能。
- HunyuanCustom的主体一致性评分达到了开源模型的SOTA水平，适合广告制作和视频编辑。
- 目前已上线单主体参考功能，其他功能将在本月内发布。
- HunyuanCustom支持单主体参考、多主体参考、局部编辑和角色配音四大功能。
- 模型在身份一致性和主体相似性方面表现优异，分别达到0.627和0.593。
- HunyuanCustom基于文生视频模型HunyuanVideo，配备了相应的模块以实现多种能力。
- 模型采用LLaVA文本-图像交互模块和身份增强模块来增强身份一致性。
- 音频驱动部分使用身份解耦的AudioNet模块，确保音频条件引入不干扰人物身份一致性。
- 局部编辑功能通过视频条件注入策略实现，采用特征叠加方式以保留视频内容信息。
- HunyuanCustom在训练过程中采用数据增强策略和Flow Matching框架来优化视频生成模型。
❓
延伸问答
HunyuanCustom模型的主要功能是什么？
HunyuanCustom模型主要具备单主体参考、多主体参考、局部编辑和角色配音等功能。
HunyuanCustom在主体一致性方面的表现如何？
HunyuanCustom的主体一致性评分达到了开源模型的SOTA水平，表现优异。
HunyuanCustom如何实现局部编辑功能？
局部编辑功能通过视频条件注入策略实现，采用特征叠加方式以保留视频内容信息。
HunyuanCustom的音频驱动功能是如何工作的？
音频驱动部分使用身份解耦的AudioNet模块，确保音频条件引入不干扰人物身份一致性。
HunyuanCustom的多主体参考功能有什么应用场景？
多主体参考功能在广告制作等场景中尤其好用，可以生成包含多个角色的视频。
HunyuanCustom的训练过程中采用了哪些优化策略？
训练过程中采用了数据增强策略和Flow Matching框架来优化视频生成模型。
➡️
