Boson AI 预览 Higgs Realtime Duplex：面向对话式语音与视频智能体
内容提要
Boson AI 预览了 450 亿参数的全双工模型 Higgs Realtime Duplex，可同时聆听、观看和说话，实时生成表情丰富的面部形象，支持打断处理、视觉理解、工具调用，并能将复杂任务委派给后台更大模型。该模型在 BigBench Audio 上准确率达 98.9，但部分基准落后于竞品。它以 160 毫秒片段流式处理，语音与面部由独立解码器渲染。API 即将推出，现有 Higgs Realtime 和 Higgs Avatar 已可用。
延伸解读
全双工交互的实际成本：静默时也在计算
文章指出，Higgs Realtime Duplex 以 160 毫秒片段流式处理，且全双工运行意味着即便在静默期间，处理也在持续进行，不只是说话时。这提醒开发者，实时语音智能体的资源消耗不能只按“说话时长”估算，而需考虑持续监听与视觉输入带来的常驻开销。Boson 通过压缩各条流、逐步压缩推理与工具调用轨迹来管理持续交互，在保留近期视听上下文的同时保留更早的文本历史，这是维持长对话可行性的关键设计。
基准表现有高有低：BigBench Audio 领先，但全双工综合分落后
Boson 报告 BigBench Audio 准确率 98.9，在其对比中最高；但 Full-Duplex-Bench v1.5 平均分为 75.5，落后于 Thinking Machines 的 77.8 和 GPT-Live-1 的 80.1。文章说明该对比使用已公布结果，且 Boson 表示其中超过一半由自己复现。读者应留意，单一基准的高分并不代表全双工对话体验全面领先，打断处理、轮次切换等综合能力仍需结合多类基准和实际场景评估。
等待 Duplex API 期间的可用路径
Higgs Realtime Duplex 仍是研究预览版，API 宣布“即将推出”。但开发者目前已有两条现成路径：一是通过 Boson 维护的“pipecat-boson”集成使用更早的 Higgs Realtime 语音到语音模型，支持函数调用、打断恢复、100 多种语言，并报告约 700 毫秒语音到语音响应及被打断时 125 毫秒内让出话语权；二是单独通过 Higgs Avatar 把静态图片变成与语音同步的实时面部形象，包括与 LiveKit agents 集成。产品团队可先用这些能力评估语音与视觉交互，再
小参数模型靠数据与训练方法抗衡大模型
Higgs Realtime Duplex 为 450 亿参数混合专家模型，约为 Thinking Machines 模型规模的六分之一。Boson 表示，他们在一个经过文本预训练的模型上，用约两万亿 token 的文本、音频和视觉数据继续训练，再通过多教师在线策略蒸馏整合各类专家行为。联合创始人 Alex Smola 称，这说明领域仍处早期，数据、架构和训练方法比单纯规模更重要。对读者而言，这意味着评估实时语音模型时，参数规模不是唯一指标，训练数据构成与蒸馏策略同样值得关注。
Q&A
Higgs Realtime Duplex 是什么？它有哪些核心功能？
Higgs Realtime Duplex 是 Boson AI 预览的 450 亿参数全双工模型，能同时聆听、观看和说话，实时生成富有表情的面部形象，并支持打断处理、视觉理解、工具调用以及将复杂任务委派给后台更大模型。
Higgs Realtime Duplex 在基准测试中的表现如何？
在 BigBench Audio 上准确率达 98.9，为对比中最高；但 Full-Duplex-Bench v1.5 平均分为 75.5，落后于 Thinking Machines 的 77.8 和 GPT-Live-1 的 80.1。
Higgs Realtime Duplex 如何处理实时交互和任务委派？
模型以 160 毫秒片段流式处理输入并生成输出，450 亿参数的混合专家（MoE）前置模型可自行推理和调用工具，仅将更困难请求委派给更大的后端模型。
Higgs Realtime Duplex 的语音和面部渲染是如何实现的？
语音与面部使用各自独立的因果解码器渲染；一段短参考录音用于调制音色，单张图片即可确定面部形象，无需微调。
开发者目前可以使用 Boson AI 的哪些产品？
Higgs Realtime 和 Higgs Avatar 已通过 Boson API 提供；Higgs Realtime Duplex 仍是研究预览版，API 即将推出。
Boson AI 是一家怎样的公司？
Boson AI 成立于 2023 年，由前亚马逊 AWS 科学家 Alex Smola 和 Mu Li 创立，在加州圣克拉拉和安大略省多伦多设有办公室，构建了覆盖语音到语音交互、语音合成与识别、动画化数字人的产品组合。
