美团技术团队
·
开源 | MeiGen-MultiTalk：基于单张照片实现多人互动演绎
💡
原文中文，约8400字，阅读约需20分钟。
📝
内容提要
美团推出了开源的多人对话视频生成框架MultiTalk，利用L-RoPE技术解决多音频流与人物错位问题。该框架支持音频流、图像和文本输入，生成自然互动视频，适用于影视制作和直播电商等场景。
🎯
关键要点
- 美团推出开源的多人对话视频生成框架MultiTalk，利用L-RoPE技术解决多音频流与人物错位问题。
- MultiTalk支持音频流、图像和文本输入，生成自然互动视频，适用于影视制作和直播电商等场景。
- 当前AI在音频驱动人像视频生成领域取得进展，但在多人对话视频生成中面临多音频流适配、动态人物定位和指令遵循能力等挑战。
- MultiTalk采用DiT和3D VAE作为基础模型，结合文本和音频输入生成视频。
- MultiTalk通过音频适配器解决音频与视频帧的时间粒度不匹配问题，确保信息流畅。
- L-ROPE技术实现多流音频与多个人物的精准绑定，解决了音频与人物的精确绑定问题。
- MultiTalk采用两阶段训练策略，逐步提升模型的音频处理和唇形同步能力。
- MultiTalk在多人物对话视频生成方面表现出色，超越了现有最先进的方法，尤其在唇形同步和视频质量方面。
- MultiTalk的应用前景广泛，包括多角色电影制作、虚拟直播、游戏开发等领域。
- 美团视觉智能部致力于建设视觉技术能力，推动AI在复杂人机交互中的应用。
❓
延伸问答
MultiTalk框架的主要功能是什么？
MultiTalk框架能够通过音频流、图像和文本输入生成自然的多人互动视频，适用于影视制作和直播电商等场景。
L-ROPE技术在MultiTalk中起什么作用？
L-ROPE技术实现多流音频与多个人物的精准绑定，解决了音频与人物的精确同步问题。
MultiTalk如何解决多音频流与人物错位的问题？
MultiTalk通过L-ROPE技术和音频适配器，确保音频与视频帧的时间粒度匹配，从而解决多音频流与人物错位的问题。
MultiTalk的训练策略有哪些？
MultiTalk采用两阶段训练、部分参数训练和多任务训练策略，以提升模型的音频处理和指令遵循能力。
MultiTalk在生成视频质量方面表现如何？
MultiTalk在唇形同步和视频质量方面表现出色，超越了现有最先进的方法。
MultiTalk的应用前景有哪些？
MultiTalk的应用前景广泛，包括多角色电影制作、虚拟直播、游戏开发等领域。
➡️
