量子位
·
MiniMax海螺视频团队首次开源：Tokenizer也具备明确的Scaling Law
💡
原文中文，约6000字，阅读约需15分钟。
📝
内容提要
MiniMax海螺视频团队首次开源了视觉分词器预训练框架VTP，解决了算力与生成效果不成正比的问题。研究表明，传统Tokenizer的重建精度与生成质量无关，而VTP强调理解力，提升生成性能。VTP展示了Tokenizer的Scaling Law，优化Tokenizer可有效提升生成系统性能。
🎯
关键要点
- MiniMax海螺视频团队首次开源视觉分词器预训练框架VTP，解决算力与生成效果不成正比的问题。
- 传统Tokenizer的重建精度与生成质量无关，VTP强调理解力以提升生成性能。
- VTP展示了Tokenizer的Scaling Law，优化Tokenizer可有效提升生成系统性能。
- 传统Tokenizer在追求像素级重建时，忽视了生成任务依赖的高层语义与整体结构。
- VTP通过图文对比学习和自监督学习，强调理解力和结构化视觉认知。
- VTP的设计原则是联合优化理解、重建和生成，确保潜在空间保留生成所需的细节信息。
- VTP在ImageNet上的零样本分类准确率达到78.2%，生成能力超过了之前的改进方法。
- VTP首次展示了Tokenizer的Scaling Law，生成性能可以随预训练中投入的计算量、参数量和数据规模有效增长。
- VTP为整个行业提供了一条新的路径，强调Tokenizer在生成系统中的重要性和投资价值。
➡️
