量子位
·
智谱AI版Sora开源！首个可商用，在线可玩，5小时GitHub狂揽3.7K星
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
智谱AI开源了可商用的视频生成模型CogVideoX，GitHub上获得了3.7K个Star。模型支持人物特写和一镜到底等效果，且可在线体验。模型在单卡A100上生成视频仅需90秒。技术报告公开了模型的三大技术亮点：高效的三维变分自编码器结构、专家Transformer和负面标签数据处理。
🎯
关键要点
-
智谱AI开源了可商用的视频生成模型CogVideoX，GitHub上获得了3.7K个Star。
-
CogVideoX支持人物特写和一镜到底等效果，且可在线体验。
-
在单卡A100上生成视频仅需90秒，推理和微调显存需求较低。
-
技术报告公开了三大技术亮点：高效的三维变分自编码器结构、专家Transformer和负面标签数据处理。
-
团队自研的三维变分自编码器结构将视频空间压缩至2%，降低了训练成本和难度。
-
专家Transformer通过将视频和文本嵌入拼接处理，恢复原始潜在空间形状。
-
开发了负面标签来识别和排除低质量视频，确保生成视频的质量。
-
提出了一种从图像字幕生成视频字幕的管道，以提高视频字幕生成的密度和质量。
❓
延伸问答
CogVideoX模型的主要功能是什么？
CogVideoX模型支持视频生成，能够实现人物特写和一镜到底等效果。
CogVideoX在生成视频时的性能如何？
在单卡A100上，CogVideoX生成视频仅需90秒，显存需求较低。
CogVideoX的技术亮点有哪些？
技术亮点包括高效的三维变分自编码器结构、专家Transformer和负面标签数据处理。
如何在线体验CogVideoX模型？
用户可以通过HuggingFace平台的在线demo体验CogVideoX模型。
智谱AI是如何确保生成视频质量的？
智谱AI通过开发负面标签来识别和排除低质量视频，确保生成视频的质量。
CogVideoX的开源情况如何？
CogVideoX已在GitHub上开源，并获得了3.7K个Star，支持商用。
🏷️
