💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
OpenAI通过Realtime API重构生成式AI架构，采用WebSocket协议实现全双工通信，降低延迟，提升语音助手的实时交互能力。新技术支持音频处理和改进语音活动检测，提供更自然的对话体验。
🎯
关键要点
- 生成式AI领域中，延迟影响沉浸感，传统语音驱动AI代理架构存在多次转换导致的延迟问题。
- OpenAI通过Realtime API重构了语音驱动AI架构，采用WebSocket协议实现全双工通信，降低延迟。
- Realtime API支持音频处理和改进的语音活动检测，提供更自然的对话体验。
- WebSocket协议支持持久的双向连接，使得模型能够同时“监听”和“发送”，保持实时会话状态。
- API绕过了传统的STT → LLM → TTS流程，降低了延迟并能感知细微的副语言特征。
- 架构依赖于服务器发送的特定事件进行实时交互，实现即时、低延迟的播放。
- 高级语音活动检测技术能够区分用户思考和说完句子，避免尴尬的打断，创造更自然的对话体验。
➡️
