智驾公司下场搞AI视频生成,模型上线即开源

智驾公司下场搞AI视频生成,模型上线即开源

💡 原文中文,约2800字,阅读约需7分钟。
📝

内容提要

图森未来推出开源视频生成模型Ruyi,用户可上传图片生成720P、5秒视频,支持多种风格,表现良好但存在细节问题。该公司由智能驾驶转型为生成式AI,未来将推出更多功能。

🎯

关键要点

  • 图森未来推出开源视频生成模型Ruyi,用户可上传图片生成720P、5秒视频。
  • Ruyi支持多种风格的视频生成,表现良好但存在细节问题。
  • 用户可在Hugging Face和GitHub上下载Ruyi模型,使用简单。
  • Ruyi支持最多5个起始帧和结束帧,提供运动幅度和镜头控制。
  • 图森未来由智能驾驶转型为生成式AI,计划推出更多功能。
  • Ruyi基于DiT架构,使用Casual VAE和Diffusion Transformer模块。
  • 模型参数量约为7.1B,使用约200M个视频片段进行训练。
  • 未来将推出Ruyi Standard闭源模型和ACG-GEN工具,满足专业需求。

延伸问答

Ruyi模型的主要功能是什么?

Ruyi模型可以通过上传一张图片生成720P、5秒的视频,支持多种风格。

用户如何获取Ruyi模型?

用户可以在Hugging Face和GitHub上下载Ruyi模型,使用简单。

Ruyi模型的训练数据和参数量是多少?

Ruyi模型的参数量约为7.1B,使用了约200M个视频片段进行训练。

图森未来为何转型为生成式AI公司?

图森未来转型是为了利用在自动驾驶领域的技术积累,探索新的商业化机会。

Ruyi模型在视频生成方面有哪些表现?

Ruyi在画面一致性、动作流畅性和真实性上表现良好,但存在细节问题。

未来图森未来对Ruyi模型有什么计划?

未来将推出Ruyi Standard闭源模型和ACG-GEN工具,以满足专业需求。

➡️

继续阅读