《Her》有形象了!给AI打视频电话,几乎无延迟,红杉YC投了

💡 原文中文,约2900字,阅读约需7分钟。
📝

内容提要

创业团队Tavus开发了一款名为Conversational Replicas的AI视频通话产品,具有几乎无延迟的特点。用户可以与AI形象卡特进行视频对话,体验身临其境的交流。该产品在上线后迅速受到网友的热捧,被称为史上最快对话视频AI。Tavus团队使用自研的Phoenix-2模型,结合了GAN和3D高斯泼溅技术,实现了逼真的视频渲染。用户可以在网页端试玩2分钟,注册后即可使用该产品。未来还将推出更多AI形象和背景选择,以及个性化定制功能。

🔎

延伸解读

技术突破:GAN与3D高斯泼溅的结合

Tavus的Phoenix-2模型将GAN和3D高斯泼溅技术结合,解决了传统GAN受限于图像分辨率、体积模型时间一致性差的问题。通过3D模型作为中间体,实现了超过100 FPS的渲染,并利用物理感知约束提高可控性。相比初代NeRF模型,训练速度快70%,渲染速度达60+FPS,从而支持几乎无延迟的对话体验。

体验局限:中文支持与试玩限制

尽管Tavus宣称支持30多种语言,但实际体验中,AI形象卡特无法用中文对话,仅能以英文回应。目前网页端仅提供2分钟试玩,且对话对象固定为卡特。正式版本虽将提供更多形象和背景,但中文支持的缺失可能影响部分用户的使用。

商业与投资背景

Tavus成立四年,已获得红杉、Scale VC、YC等约1800万美元A轮投资。团队追求1秒以内的延迟,以模拟人类对话。目前产品有免费和收费版本,并提供API服务,用户仅需2分钟素材和1美元起即可生成数字孪生视频,展现了其商业化潜力。

❓

Q&A

Tavus的AI视频通话产品有什么特点?

Tavus的AI视频通话产品具有几乎无延迟的特点,用户可以与AI形象进行身临其境的对话体验。

如何体验Tavus的AI视频通话?

用户可以在网页端试玩2分钟,注册后即可使用该产品。

Tavus使用了什么技术来实现视频渲染?

Tavus使用自研的Phoenix-2模型,结合了GAN和3D高斯泼溅技术,实现了逼真的视频渲染。

Tavus的AI视频通话支持哪些语言?

Tavus的AI支持30多种语言,但目前中文支持有限。

Tavus的AI形象卡特有什么特点?

卡特是Tavus塑造的AI形象,以幽默的方式回应用户,乐于助人。

Tavus的AI视频通话产品未来有什么计划?

未来将推出更多AI形象和背景选择,以及个性化定制功能。

🏷️

标签

➡️

继续阅读