Thinking Machines提出了一种新的AI交互模型，旨在改善人机协作。该模型通过时间对齐的微轮次处理输入和输出，实现实时对话，克服了传统模型的局限性。它结合了快速的交互模型和慢速的背景模型，能够同时处理深度推理和实时响应，从而提升了交互的流畅性和效率。

AI Gateway现已支持语音和音频模型，用户可以实时构建语音代理、将文本转换为语音以及进行音频转录。这些功能在测试阶段，提供与文本、图像和视频模型相同的可观察性和费用控制，用户可通过AI SDK 7实现低延迟的实时对话。

MiniMax M3是最新的开源模型，优化了编码和多模态任务。其稀疏注意力机制显著提高了计算效率，减少了每个令牌的计算需求，提升了速度。该模型在Modular平台上可供企业客户使用，支持实时患者对话的灵活推理。

OpenAI推出了三种音频模型，分别是GPT-Realtime-2（实时对话）、GPT-Realtime-Translate（支持70多种语言的实时翻译）和GPT-Realtime-Whisper（低延迟语音转文本）。这些模型提升了语音交互的智能性和响应能力，适用于客户支持和教育等领域。

Cloudflare 为其 AI Agent SDK 引入语音功能，支持实时对话，通过 @cloudflare/voice 包实现语音输入和文本转语音。开发者可以利用持久对象基础架构保持对话历史，并通过 WebSocket 连接实现低延迟交互，旨在提供更自然的多模态 AI 体验。

LLM的上下文窗口是模型一次处理的最大文本量，受自注意力机制和GPU内存带宽限制。现代模型的上下文窗口已扩展至128K-2M标记，但较小的窗口在实时对话和特定任务中表现更佳。在生产环境中，语义缓存和检索增强生成等策略能有效提升性能。

中国科学院计算技术研究所推出的LLaMA-Omni2是一个支持语音的大型语言模型，结合语音感知与语言理解，实现实时口语对话。该模型采用端到端流水线，训练成本低且具有模块化可解释性。在200K语音对话样本上训练后，LLaMA-Omni2的表现优于基线模型，证明高质量、低延迟的语音交互无需大量语料库。

open_deep_research 是一款网络研究助手，支持自定义报告生成和模型选择。OpenROAD 实现快速半导体设计转换，WhisperFusion 提供实时对话体验，rustdesk 是安全的远程桌面应用，vue-office 支持多种文档预览。

本文介绍了如何增强AI助手的功能，包括多代理工作流、长期记忆和实时对话，使其能够更自然地处理用户交互。

MiniCPM-o 是一款多模态大语言模型，支持图像、视频、文本和音频输入，具备实时双语对话和情感控制功能。最新版本 MiniCPM-o 2.6 拥有 8 亿参数，性能与 GPT-4o 相当。RealtimSTT 提供低延迟语音转文本功能，适合实时应用。copilot-codespaces-vscode 提供 AI 驱动的代码建议，提升开发效率。Chainlit 是一个开源 Python 框架，便于快速构建对话式 AI 应用。