2026年9月15日，Google发布Gemini 3.8 Live与Extended Thinking两款语音模型，分别主打低成本对话与多步推理。后者语音质量指数82.6分居首，但真实客服任务完成率仅68.6%，银行场景更低至35.1%，暴露语音智能体在工具调用、多语言识别与治理上的共同瓶颈。

2026年，NVIDIA、Sierra、Salesforce密集申请语音智能体“何时开口”专利，竞争焦点从音色识别转向轮次接管，但抢话率、响应延迟等公开验收标准仍空白。机会在于轮次质检工具：批量回放通话录音，标注抢话、迟缓、误接、冷场四类事件并输出量化报告。一人四周可出MVP，月成本数百元，可用于交付前质检与通话巡检订阅。

本文探讨语音智能体延迟指标，指出TTFT（首Token时间）仅是起点，真正影响体验的是TTFS（首句时间）。文章基准测试了LLM、STT、TTS及语音到语音各层，强调需结合TTFT和输出速度评估，并给出约700ms的LLM预算参考。关键建议包括同区域部署、限制推理努力、预留工具调用预算，以及关注p95尾部延迟而非仅p50。

HuggingFace发布开源语音智能体流水线speech-to-speech，完全模块化，支持本地运行，无需API密钥。它通过Silero VAD、Parakeet TDT、Gemma 4和Qwen3-TTS等组件实现语音检测、转写、生成和合成，提供与OpenAI Realtime兼容的WebSocket API，可无缝替换，支持多语言和多种运行模式。

本文探讨了语音智能体的架构，包括语音转文本（STT）、大语言模型（LLM）和文本转语音（TTS）三个阶段。引入音频后，延迟和上下文处理变得复杂。级联模型适合大多数生产环境，而端到端模型在自然对话中更具竞争力。流式传输技术可减少延迟，提升对话自然性。设计中需考虑语音活动检测和话轮管理等技术挑战，以改善用户体验。

语音智能体中的记忆问题比文本智能体更复杂，因其对延迟的严格要求。有效的记忆架构需在快速响应中处理会话事实、用户画像和历史信息。设计时需考虑记忆的写入时机、内容和检索方式，通过异步写入和预加载确保快速响应，同时在闲时进行记忆巩固，以提升后续对话质量。