量子位
·
微软开源视频Tokenizer新SOTA！显著优于Cosmos Tokenizer和Open-Sora
💡
原文中文，约4000字，阅读约需10分钟。
📝
内容提要
微软开源了新的视频Tokenizer VidTok，其性能显著优于Cosmos Tokenizer和Open-Sora。VidTok支持多种设置，适用于不同场景，并可在自定义数据集上微调。其创新架构和量化技术提升了重建质量和训练效率，为视频生成和世界模型研究提供了强大工具。
🎯
关键要点
- 微软开源了新的视频Tokenizer VidTok，其性能显著优于Cosmos Tokenizer和Open-Sora。
- VidTok支持多种设置，适用于不同场景，并可在自定义数据集上微调。
- VidTok在连续和离散、不同压缩率等多种设定下，各项指标均显著优于现有模型。
- 视频Tokenizer的主要作用是将高维的原始数据转换为隐空间中高效的压缩表示。
- VidTok支持多样化的隐空间和灵活的压缩率，适应不同的使用需求。
- VidTok在各个设定下的重建性能均达到了SOTA水平，具有全面的优势。
- VidTok采用高效的混合模型架构设计，结合了3D、2D和1D卷积。
- 引入有限标量量化（FSQ）技术，提高了模型的训练稳定性和重建性能。
- 采用分阶段训练策略，训练时间减少了50%，而重建质量不受影响。
- VidTok的开源为视频生成和世界模型研究提供了强大工具，支持后续微调。
➡️
