量子位
·
Meta新视频生成框架拿捏倒立杂技，双人舞也能完美同步！运动一致性暴增近20%，可无缝集成DiT模型
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
Meta推出的VideoJAM框架显著提升了运动一致性近20%，能够生成复杂的舞蹈和杂技等动态场景，效果接近真实。该框架在训练和推理阶段优化了DiT模型，采用联合外观-运动表示和内部引导机制，确保生成视频的运动连贯性。
🎯
关键要点
- Meta推出的VideoJAM框架提升运动一致性近20%。
- VideoJAM能够生成复杂的舞蹈和杂技等动态场景，效果接近真实。
- 框架在训练阶段引入运动信息表示，优化了DiT模型。
- VideoJAM在运动场景处理上视觉效果更好，符合物理规律。
- 运动质量在4B和30B规模下分别提升至93.7和92.4，超越其他对比模型。
- 训练中采用联合外观-运动表示，增强模型对运动的理解。
- 推理阶段使用内部引导机制，动态调整生成过程以增强运动一致性。
- 生成过程分为粗略阶段和细化阶段，分别关注大范围运动和细节优化。
➡️
