智谱AI版Sora开源！首个可商用，在线可玩，5小时GitHub狂揽3.7K星
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
智谱AI开源了可商用的视频生成模型CogVideoX，GitHub上获得了3.7K个Star。模型支持人物特写和一镜到底等效果，且可在线体验。模型在单卡A100上生成视频仅需90秒。技术报告公开了模型的三大技术亮点：高效的三维变分自编码器结构、专家Transformer和负面标签数据处理。
🔎
延伸解读
开源可商用与硬件门槛
CogVideoX-2B是首个可商用的开源视频生成模型，采用FP-16精度时推理仅需18GB显存，微调需40GB，意味着单张4090即可推理，单张A6000可微调。在单卡A100上生成视频约90秒，降低了使用门槛，便于开发者和中小企业部署。
技术亮点：3D VAE与专家Transformer
团队自研的三维变分自编码器将视频空间压缩至2%，大幅减少训练成本和难度。专家Transformer通过拼接文本和视频嵌入，再恢复潜在空间形状，实现高效的多模态处理。这些设计提升了模型效率，同时保持生成质量。
数据质量保障与字幕生成
为排除低质量视频，团队开发负面标签识别过度编辑、运动不连贯等内容，并利用video-llama过滤器筛选2万视频数据点。此外，提出从图像字幕生成视频字幕的管道，微调端到端模型生成更密集字幕，以提高训练数据质量。
❓
Q&A
CogVideoX模型的主要功能是什么？
CogVideoX模型支持视频生成，能够实现人物特写和一镜到底等效果。
CogVideoX在生成视频时的性能如何？
在单卡A100上，CogVideoX生成视频仅需90秒，显存需求较低。
CogVideoX的技术亮点有哪些？
技术亮点包括高效的三维变分自编码器结构、专家Transformer和负面标签数据处理。
如何在线体验CogVideoX模型？
用户可以通过HuggingFace平台的在线demo体验CogVideoX模型。
智谱AI是如何确保生成视频质量的？
智谱AI通过开发负面标签来识别和排除低质量视频，确保生成视频的质量。
CogVideoX的开源情况如何？
CogVideoX已在GitHub上开源，并获得了3.7K个Star，支持商用。
🏷️
