智谱版Sora开源爆火：狂揽4K Star，4090单卡运行，A6000可微调
内容提要
智谱AI开源了视频生成模型CogVideoX，该模型可生成高精度视频，已在国内获得好评。模型包含多个尺寸大小的模型，推理和微调所需的显存较小。智谱AI使用3D VAE视频压缩方法，结合了L2损失、LPIPS感知损失和3D判别器的GAN损失。智谱AI还提出了一种从图像字幕生成视频字幕的管道，并微调了视频字幕模型。智谱AI使用多个指标评估文本到视频生成的质量。未来，智谱AI将继续探索新型模型架构和更高效的视频压缩方法。
延伸解读
开源策略与硬件门槛
智谱AI开源CogVideoX-2B模型，在FP-16精度下推理仅需18GB显存，微调需40GB显存，这意味着单张4090显卡即可推理，单张A6000可微调。相比闭源模型如Sora，开源降低了研究和应用门槛，使更多开发者和研究者能够本地部署和实验。
技术亮点：3D VAE与专家Transformer
CogVideoX采用3D变分自编码器（3D VAE）压缩视频的空间和时间维度，结合L2损失、LPIPS感知损失和3D判别器的GAN损失进行训练。模型使用专家Transformer处理拼接的文本和视频嵌入，并通过上下文并行技术适应大规模视频处理，这些设计提升了视频生成的质量和效率。
数据筛选与字幕生成管道
智谱AI开发了负面标签来排除低质量视频，并标注筛选了20,000个视频数据点。针对视频缺乏文本描述的问题，他们提出从图像字幕生成视频字幕的管道，微调了基于CogVLM2-Video和Llama 3的CogVLM2-Caption模型，以生成更密集的字幕，从而提升文本到视频模型的训练效果。
评估指标与未来方向
智谱AI使用VBench中的多个指标（如人类动作、场景、动态程度）以及Devil的Dynamic Quality和Chrono-Magic的GPT4o-MT Score来评估视频生成质量。他们已验证scaling law在视频生成方面的有效性，未来计划扩大数据和模型规模，并探索新型模型架构和更高效的视频压缩方法。
Q&A
CogVideoX模型的主要特点是什么？
CogVideoX模型包含多个尺寸，推理和微调显存需求较小，支持在单张4090显卡上进行推理。
智谱AI是如何评估视频生成质量的？
智谱AI使用多个指标评估视频生成质量，包括人类动作、场景和动态程度等，并使用额外的评估工具。
智谱AI的3D VAE视频压缩方法有什么优势？
3D VAE视频压缩方法通过三维卷积同时压缩视频的空间和时间维度，实现更高的压缩率和更好的重建质量。
CogVideoX模型的应用场景有哪些？
CogVideoX模型适用于视频生成、创意视频制作等场景，尤其是需要高精度视频的应用。
智谱AI未来的计划是什么？
智谱AI计划继续探索新型模型架构和更高效的视频压缩方法，以推动视频生成技术的发展。
如何使用智谱AI的清影产品？
用户可以通过清言App体验清影产品，只需提供创意和耐心，便可生成高精度视频。
