前华为小艺大模型负责人创业,押注“主动式物理AI”

前华为小艺大模型负责人创业,押注“主动式物理AI”

💡 原文中文,约4500字,阅读约需11分钟。
📝

内容提要

华为前AI首席专家唐都钰创办观行数智,提出“主动式物理AI”,让机器无需指令即可自主感知环境、判断需求并适时介入。团队设计双模型架构ProAgent:轻量模型负责事件流判断,响应模型规划行动,并建立数据流程与评测体系ProactiveXBench。唐都钰认为AI从被动走向主动是趋势,该能力不会随智能增长自然涌现,需专门攻克。

🔎

延伸解读

主动式物理AI:从执行到预判的范式转变

文章指出,当前物理AI主要解决“如何执行指令”,而唐都钰提出的“主动式物理AI”则向前补齐了行动链路,让机器自主判断“需要做什么”和“何时行动”。这要求系统持续处理事件流,并做出是否介入的决策。这种转变意味着AI从被动工具转向主动伙伴,但技术挑战巨大,涉及风险判断、职责边界和行动时机,并非智能增长自然涌现的能力。

双模型架构ProAgent:平衡效率与响应

为应对持续环境信息处理的成本与速度问题,观行数智设计了双模型协同架构ProAgent。轻量模型StreamingJev负责实时判断事件流,决定是否需要介入;响应模型则规划具体行动并调用设备。这种分工将计算资源集中于关键时刻,既降低了推理成本,又提升了反应速度,是主动式物理AI在工程上的一种务实解法。

数据与评测:主动式AI落地的关键瓶颈

主动式物理AI缺乏成熟的数据体系和评测标准。观行数智通过自动化流程从公开视频中提取场景变化,构建带推理过程的决策序列,并建立ProactiveXBench评测体系,从时机、进度和结果三个维度评估介入轨迹。这些努力旨在让模型学会区分“变化”与“需求”,但数据闭环仍需与具身公司合作,在真实设备中补充反馈,才能持续迭代。

创业背景与趋势判断:顺势而为的必然选择

唐都钰曾任华为小艺大模型负责人,拥有从模型训练到终端落地的全链路经验,其学术背景涵盖情感计算和代码智能。他认为AI从数据世界走向物理世界、从被动走向主动是两大趋势,因此创业并非豪赌,而是顺势而为。尽管物理AI技术路线尚未收敛,但提前布局主动式能力,有望在未来的多终端环境中定义更自然的人机交互。

❓

Q&A

什么是主动式物理AI?

主动式物理AI是指让机器无需人类指令即可自主感知环境、判断需求并适时介入的AI系统。它面对的是持续展开的事件流,需要持续接收环境信息,理解正在发生的事件,并判断某种变化是否形成了需要,然后决定是否介入、以什么方式介入、调用何种设备介入以及何时介入。

主动式物理AI和传统物理AI有什么区别?

传统物理AI主要聚焦于解决“如何更好地执行人类提出的要求”,任务起点来自人类明确指令,AI解决的是如何完成任务(How)。而主动式物理AI则向前补齐了一次完整行动链路,需要自主判断需要做什么(What)以及何时行动(When),面对的是持续展开的事件流,而非单一任务链。

观行数智的ProAgent双模型架构是如何工作的?

ProAgent采用双模型协同架构。第一部分的StreamingJev负责持续读取现实环境中的事件流,进行轻量化判断,给出“是否需要介入”的讯号,如同哨兵。第二部分的Response Model更像指挥员,当StreamingJev识别出需求后,Response Model会进一步判断事件性质,规划回应方式,并决定调用何种设备。这种分工是为了降低推理成本、提高反应速度,把计算资源留给关键时刻。

为什么主动做事的能力不会随智能增长而自然涌现?

唐都钰认为,主动做事的能力涉及风险判断、职责边界以及行动时机,是一个需要单独去研究攻克的复杂问题。尽管大模型能力提升能让机器更准确地识别画面和描述事件,但主动介入需要判断边界和时机,例如同一个动作可能有完全不同的含义,提醒过早可能变成打扰,过晚则失去意义。因此,这种能力不会随着智能增长而自然涌现。

观行数智如何解决主动式物理AI的数据和评测问题?

在数据方面,观行数智建立了一套自动化数据流程,从公开视频中提取场景变化,并将其转化为带有推理过程的决策序列,包含应该提醒或行动的正向样本,以及应该继续观察的监督信号,让模型学会区分“出现了变化”与“形成了需要”。在评测方面,团队建立了ProactiveXBench评测体系,从Timing(反应时机)、Progress(介入时长和任务状态)、Outcome(最终结果)三个维度评估AI从发现需求到完成介入的完整轨迹。

唐都钰的创业背景是什么?

唐都钰曾任华为智能助手“小艺”多模态大模型的研发负责人,职级达到21级。他于2015年在哈尔滨工业大学攻读博士学位,师从秦兵教授,研究情感计算,同年入选IBM全球博士英才计划。2016年博士毕业后进入微软亚洲研究院,从事代码智能研究,主导了CodeBERT、CodeGPT等。他的论文累计引用超过3万次,入选全球前2%顶尖科学家榜单。

主动式物理AI目前的应用验证情况如何?

目前,观行数智已与具身公司合作,让系统进入具体设备,补充推理过程、动作空间与执行反馈,形成数据闭环。团队将这套能力首先放在了Reachy Mini机器人上,在60个案例中验证导引、警示与互动。根据团队测试结果,在介入时效等特定指标上,其ProAgent模型已优于GPT-6等通用模型。

🏷️

标签

➡️

继续阅读