被OpenAIGemini共同选择的实时语音交互,凭什么是这家中国公司?

被OpenAIGemini共同选择的实时语音交互,凭什么是这家中国公司?

💡 原文中文,约3300字,阅读约需8分钟。
📝

内容提要

iRTE2026实时智能大会聚焦对话式AI从“会答”转向“持续参与真实交流”,核心挑战包括模型能力与业务结果对齐、实时对话底层技术底座,以及技术落地终端硬件的现实考验。声网提出五级对话能力框架,并展示多模型协作、实时推理云及对话式AI引擎等基础设施,推动语音识别、推理、传输与终端响应全链路协同。

🔎

延伸解读

从“会答”到“会聊”的体验鸿沟

文章指出,AI“会说”已过关,但“会聊”仍差一大截:抢话、念答案、不让人打断。这些体验别扭背后是语音识别、模型理解、实时传输、终端响应整条链路,任一环节慢都会破坏体感。这解释了为何实时交互成为模型、应用和硬件团队共同攻关的方向,而非单点模型能力问题。

五级框架揭示对话能力的递进层次

声网赵斌提出五级对话能力:L1问一句答一句,L2协调听说时机,L3理解个人意图与处境,L4理解多人关系和沟通边界,L5基于长期上下文深度沟通。该框架表明回答快、声音自然只是部分能力,AI还需判断跟谁交流、为何这样说、什么回应合适,为评估对话系统提供了分层视角。

多模型协作与实时基础设施的协同挑战

声网展示的Agora Conversational Model采用多模型协作,将声音感知、全双工响应、推理、工具、记忆与语音表达组织起来。但并行之后,几个模型需保持一致:前面接受新要求,后面不能按旧任务操作。实时基础设施的作用也从连接传输延伸到对话中的模型协同,分布式实时推理云则让模型靠近用户运行,动态选择路径。

终端落地考验产品价值而非仅接入模型

文章强调,技术从实验室走向终端硬件后,必须直面复杂真实物理环境。瑞芯微、宇视科技、PETKIT小佩提出,仅把大模型接入硬件远远不够,端侧算力约束、现实环境感知最终都要回归产品价值。搭载AI后,设备必须长出真正让用户愿意持续使用的差异化能力,而非停留在技术演示层面。

❓

Q&A

iRTE2026实时智能大会的核心议题是什么?

大会聚焦对话式AI从“会答”转向“持续参与真实交流”,核心议题包括模型能力与业务结果对齐、实时对话底层技术底座,以及技术落地终端硬件的现实考验。

声网提出的五级对话能力框架具体包含哪些级别?

五级对话能力从L1到L5:L1问一句答一句;L2掌握互动规律、协调听说时机;L3理解个人意图与处境;L4理解多人关系和沟通边界;L5基于长期上下文的深度沟通。

实现自然实时对话面临哪些主要技术挑战?

主要挑战包括:模型能力与业务结果对齐、构建实时对话底层技术底座(如交互模型、目标人声提取、多说话人识别、实时语音生成),以及技术落地终端硬件时面临的端侧算力约束和现实环境感知。

声网的Agora Conversational Model如何协调多模型工作?

Agora Conversational Model采用多模型协作的混合对话系统,将声音感知、全双工响应、推理、工具、记忆与语音表达组织起来,协调持续聆听、意图判断和行动,确保多个模型在并行工作时保持一致。

声网在实时交互基础设施方面提供了哪些产品与工具?

声网提供对话式AI引擎(连接模型、Agent运行框架与用户,支持轮次管理、打断处理等)、开发套件(帮助硬件拓展视觉、动作交互)、Call Agent(面向电话业务),以及SDK、Skills、CLI、Recipes和TEN Framework等开发者工具。

为什么说对话式AI的竞争已延伸至完整真实交互全链路?

因为自然实时对话不仅依赖大模型,还需要语音识别、模型推理、实时传输、终端响应等全链路协同。任何一环短板都会破坏体验,竞争已从单一模型能力扩展到涵盖网络、交互处理、硬件终端的完整链路。

🏷️

标签

➡️

继续阅读