《Her》有形象了!给AI打视频电话,几乎无延迟,红杉YC投了
内容提要
创业团队Tavus开发了一款名为Conversational Replicas的AI视频通话产品,具有几乎无延迟的特点。用户可以与AI形象卡特进行视频对话,体验身临其境的交流。该产品在上线后迅速受到网友的热捧,被称为史上最快对话视频AI。Tavus团队使用自研的Phoenix-2模型,结合了GAN和3D高斯泼溅技术,实现了逼真的视频渲染。用户可以在网页端试玩2分钟,注册后即可使用该产品。未来还将推出更多AI形象和背景选择,以及个性化定制功能。
延伸解读
技术突破:GAN与3D高斯泼溅的结合
Tavus的Phoenix-2模型将GAN和3D高斯泼溅技术结合,解决了传统GAN受限于图像分辨率、体积模型时间一致性差的问题。通过3D模型作为中间体,实现了超过100 FPS的渲染,并利用物理感知约束提高可控性。相比初代NeRF模型,训练速度快70%,渲染速度达60+FPS,从而支持几乎无延迟的对话体验。
体验局限:中文支持与试玩限制
尽管Tavus宣称支持30多种语言,但实际体验中,AI形象卡特无法用中文对话,仅能以英文回应。目前网页端仅提供2分钟试玩,且对话对象固定为卡特。正式版本虽将提供更多形象和背景,但中文支持的缺失可能影响部分用户的使用。
商业与投资背景
Tavus成立四年,已获得红杉、Scale VC、YC等约1800万美元A轮投资。团队追求1秒以内的延迟,以模拟人类对话。目前产品有免费和收费版本,并提供API服务,用户仅需2分钟素材和1美元起即可生成数字孪生视频,展现了其商业化潜力。
Q&A
Tavus的AI视频通话产品有什么特点?
Tavus的AI视频通话产品具有几乎无延迟的特点,用户可以与AI形象进行身临其境的对话体验。
如何体验Tavus的AI视频通话?
用户可以在网页端试玩2分钟,注册后即可使用该产品。
Tavus使用了什么技术来实现视频渲染?
Tavus使用自研的Phoenix-2模型,结合了GAN和3D高斯泼溅技术,实现了逼真的视频渲染。
Tavus的AI视频通话支持哪些语言?
Tavus的AI支持30多种语言,但目前中文支持有限。
Tavus的AI形象卡特有什么特点?
卡特是Tavus塑造的AI形象,以幽默的方式回应用户,乐于助人。
Tavus的AI视频通话产品未来有什么计划?
未来将推出更多AI形象和背景选择,以及个性化定制功能。