又一「国产版Sora」全球上线!清华朱军创业团队,视频生成仅需30秒

又一「国产版Sora」全球上线!清华朱军创业团队,视频生成仅需30秒

💡 原文中文,约4300字,阅读约需11分钟。
📝

内容提要

生数科技推出的Vidu视频生成工具引起了网友的关注,具有生动逼真的效果和快速生成速度。Vidu支持文生视频和图生视频,提供多种风格选择,具有动漫风格和角色一致性功能。其生成速度比其他工具快一倍以上,底层基于自研的U-ViT架构,稳定性和流畅性较高。生数科技计划进一步提升Vidu的功能和性能。

🔎

延伸解读

技术底子:自研U-ViT架构的来头

Vidu基于生数科技自研的U-ViT架构,该架构由清华朱军团队在2022年9月提出,早于Sora采用的DiT架构,是全球首个Diffusion与Transformer融合的架构。由于不涉及插帧和拼接,视频从头到尾连续生成,感官上更一镜到底。这一底层创新是Vidu实现快速生成和稳定流畅表现的重要基础。

速度优势:30秒生成4秒视频

文章对比了主流工具:Runway Gen-3生成5秒视频需1分钟,可灵需2-3分钟,而Vidu仅需30秒生成4秒视频,速度比Gen-3快一倍。对于用户而言,这意味着等待时间大幅缩短,尤其适合需要快速迭代创意的场景。但需注意,速度优势建立在自研架构上,实际体验可能受网络和负载影响。

功能亮点:角色一致性与动漫风格

Vidu新增角色一致性功能,上传角色图像后,可指定该角色在任意场景中做出任意动作,适合创作梗图、表情包。同时支持动漫风格,能保持风格一致性并提高画面稳定性。这些功能拓展了创作自由度,但文章也指出,动漫风格下手指和刀具仍有变形,说明细节处理仍有提升空间。

商业布局:模型层与应用层双轨

生数科技采取模型层和应用层双轨模式:一方面构建覆盖文本、图像、视频、3D的多模态通用大模型,面向B端提供模型服务;另一方面开发垂直应用,按订阅收费,主要面向游戏制作、影视后期等内容创作场景。这种布局旨在兼顾技术输出与商业变现,但具体收费和效果需市场检验。

❓

Q&A

Vidu视频生成工具的主要特点是什么?

Vidu具有生动逼真的效果和快速生成速度,支持文生视频和图生视频,提供多种风格选择,包括动漫风格和角色一致性功能。

Vidu生成视频的速度有多快?

Vidu仅需30秒就能生成一段4秒的视频,速度比其他工具快一倍以上。

Vidu如何实现角色一致性?

用户可以上传角色图像,Vidu能够在不同场景中保持该角色的一致性,支持多种动作生成。

Vidu的底层架构是什么?

Vidu基于自研的U-ViT架构,这是全球首个Diffusion和Transformer融合的架构。

生数科技成立于何时,主要目标是什么?

生数科技成立于2023年,致力于研发可控多模态通用大模型。

Vidu支持哪些视频生成风格?

Vidu支持写实风格和动漫风格,用户可以根据需求选择不同的风格进行视频生成。

🏷️

标签

➡️

继续阅读