NVIDIA发布开源11B端到端语音模型NemotronLabs VoiceChat 11B，支持实时全双工对话，延迟仅448毫秒，可插话和调用工具。需80GB GPU，仅供研究，未用于生产。在基准测试中表现优异，但存在音频时长限制和语音降级等问题。

Qwen-Audio-Agent是一个开源实时语音交互系统，支持全双工对话、随时打断和补充需求，可将复杂任务委派给OpenCode、Claw等主流Agent执行。系统提供TUI、WebUI及桌面版，安装配置简单，旨在实现更自然的人机协作体验。

Thinking Machines提出了一种新的AI交互模型，旨在改善人机协作。该模型通过时间对齐的微轮次处理输入和输出，实现实时对话，克服了传统模型的局限性。它结合了快速的交互模型和慢速的背景模型，能够同时处理深度推理和实时响应，从而提升了交互的流畅性和效率。

AI Gateway现已支持语音和音频模型，用户可以实时构建语音代理、将文本转换为语音以及进行音频转录。这些功能在测试阶段，提供与文本、图像和视频模型相同的可观察性和费用控制，用户可通过AI SDK 7实现低延迟的实时对话。

MiniMax M3是最新的开源模型，优化了编码和多模态任务。其稀疏注意力机制显著提高了计算效率，减少了每个令牌的计算需求，提升了速度。该模型在Modular平台上可供企业客户使用，支持实时患者对话的灵活推理。

OpenAI推出了三种音频模型，分别是GPT-Realtime-2（实时对话）、GPT-Realtime-Translate（支持70多种语言的实时翻译）和GPT-Realtime-Whisper（低延迟语音转文本）。这些模型提升了语音交互的智能性和响应能力，适用于客户支持和教育等领域。

Cloudflare 为其 AI Agent SDK 引入语音功能，支持实时对话，通过 @cloudflare/voice 包实现语音输入和文本转语音。开发者可以利用持久对象基础架构保持对话历史，并通过 WebSocket 连接实现低延迟交互，旨在提供更自然的多模态 AI 体验。

LLM的上下文窗口是模型一次处理的最大文本量，受自注意力机制和GPU内存带宽限制。现代模型的上下文窗口已扩展至128K-2M标记，但较小的窗口在实时对话和特定任务中表现更佳。在生产环境中，语义缓存和检索增强生成等策略能有效提升性能。

中国科学院计算技术研究所推出的LLaMA-Omni2是一个支持语音的大型语言模型，结合语音感知与语言理解，实现实时口语对话。该模型采用端到端流水线，训练成本低且具有模块化可解释性。在200K语音对话样本上训练后，LLaMA-Omni2的表现优于基线模型，证明高质量、低延迟的语音交互无需大量语料库。

open_deep_research 是一款网络研究助手，支持自定义报告生成和模型选择。OpenROAD 实现快速半导体设计转换，WhisperFusion 提供实时对话体验，rustdesk 是安全的远程桌面应用，vue-office 支持多种文档预览。