Project Astra:谷歌AI的未来

Project Astra:谷歌AI的未来

💡 原文英文,约1000词,阅读约需4分钟。
📝

内容提要

DeepMind在Google I/O大会上展示了其名为Project Astra的通用助手的早期版本。Astra是一个实时的多模态AI助手,可以识别物体,回答问题和执行各种任务。它通过语音,文本,绘图,照片和视频进行工作。DeepMind还在研究其他模型,如Gemini 1.5 Flash,Veo和Gemini Nano。重点是创建能够代表用户完成任务的AI代理。DeepMind正在研究如何将多模态模型结合起来,并平衡大型通用模型与更小,更专注的模型。

🔎

延伸解读

实时多模态助手的核心挑战

Project Astra 展示了实时多模态交互的潜力,但 Hassabis 指出,速度与延迟是此前难以实现可用体验的关键瓶颈。团队花费六个月优化模型和基础设施,才让 Astra 接近真正实时。这表明,即使底层模型能力足够,产品化仍依赖系统级优化,尤其是大规模部署下的响应速度。

AI 代理:从对话到执行任务

Hassabis 强调,AI 的未来将更注重代理能力,即代表用户完成实际任务,而不仅是对话。Google 在代理方面有长期积累,如 AlphaGo。未来代理可能形态多样,从简单工具到协作伙伴,甚至根据个人偏好和上下文定制。这要求模型不仅能理解多模态输入,还要能规划并执行复杂操作。

模型组合与设备端策略

Google 同时推进多种模型:Gemini 1.5 Flash 追求速度,Veo 生成视频,Gemini Nano 用于设备端。Hassabis 提到,DeepMind 仍在研究如何结合多模态模型,并平衡超大通用模型与更小专注模型。这意味着未来 AI 助手可能由多个模型协同工作,根据任务和设备动态选择,以兼顾性能与效率。

竞争与未来形态的不确定性

OpenAI 在 Hassabis 采访后一小时也展示了类似 Gemini Live 的产品,显示两家公司正争夺同一领域。但 Hassabis 承认,助手的具体形态和用法尚不明确,Google 目前聚焦旅行规划等场景,并看好手机和眼镜作为关键设备,同时探索新形态。Astra 仍处早期原型,代表一种交互可能,而非最终答案。

❓

Q&A

Project Astra是什么?

Project Astra是DeepMind展示的一个实时多模态AI助手,可以识别物体、回答问题并执行各种任务。

Astra如何与用户互动?

Astra通过语音、文本、绘图、照片和视频与用户互动,展示了其强大的多模态功能。

DeepMind还推出了哪些新模型?

DeepMind推出了Gemini 1.5 Flash、Veo和Gemini Nano等新模型,重点在于提高速度和性能。

Hassabis对AI助手的未来有什么看法?

Hassabis认为未来的AI助手将更多关注代理的能力,而不仅仅是模型本身。

Gemini Live是什么?

Gemini Live是一个语音助手,允许用户与模型进行自然对话,支持中断和回顾对话内容。

Astra在速度和延迟方面有什么改进?

Astra的设计解决了速度和延迟问题,使其更接近真正的实时AI助手。

🏷️

标签

➡️

继续阅读