本文探讨语音智能体延迟指标，指出TTFT（首Token时间）仅是起点，真正影响体验的是TTFS（首句时间）。文章基准测试了LLM、STT、TTS及语音到语音各层，强调需结合TTFT和输出速度评估，并给出约700ms的LLM预算参考。关键建议包括同区域部署、限制推理努力、预留工具调用预算，以及关注p95尾部延迟而非仅p50。

HuggingFace发布开源语音智能体流水线speech-to-speech，完全模块化，支持本地运行，无需API密钥。它通过Silero VAD、Parakeet TDT、Gemma 4和Qwen3-TTS等组件实现语音检测、转写、生成和合成，提供与OpenAI Realtime兼容的WebSocket API，可无缝替换，支持多语言和多种运行模式。

本文探讨了语音智能体的架构，包括语音转文本（STT）、大语言模型（LLM）和文本转语音（TTS）三个阶段。引入音频后，延迟和上下文处理变得复杂。级联模型适合大多数生产环境，而端到端模型在自然对话中更具竞争力。流式传输技术可减少延迟，提升对话自然性。设计中需考虑语音活动检测和话轮管理等技术挑战，以改善用户体验。

语音智能体中的记忆问题比文本智能体更复杂，因其对延迟的严格要求。有效的记忆架构需在快速响应中处理会话事实、用户画像和历史信息。设计时需考虑记忆的写入时机、内容和检索方式，通过异步写入和预加载确保快速响应，同时在闲时进行记忆巩固，以提升后续对话质量。