Cloudflare 为其 AI Agent SDK 引入语音功能，支持实时对话，通过 @cloudflare/voice 包实现语音输入和文本转语音。开发者可以利用持久对象基础架构保持对话历史，并通过 WebSocket 连接实现低延迟交互，旨在提供更自然的多模态 AI 体验。

LLM的上下文窗口是模型一次处理的最大文本量，受自注意力机制和GPU内存带宽限制。现代模型的上下文窗口已扩展至128K-2M标记，但较小的窗口在实时对话和特定任务中表现更佳。在生产环境中，语义缓存和检索增强生成等策略能有效提升性能。

中国科学院计算技术研究所推出的LLaMA-Omni2是一个支持语音的大型语言模型，结合语音感知与语言理解，实现实时口语对话。该模型采用端到端流水线，训练成本低且具有模块化可解释性。在200K语音对话样本上训练后，LLaMA-Omni2的表现优于基线模型，证明高质量、低延迟的语音交互无需大量语料库。

open_deep_research 是一款网络研究助手，支持自定义报告生成和模型选择。OpenROAD 实现快速半导体设计转换，WhisperFusion 提供实时对话体验，rustdesk 是安全的远程桌面应用，vue-office 支持多种文档预览。

本文介绍了如何增强AI助手的功能，包括多代理工作流、长期记忆和实时对话，使其能够更自然地处理用户交互。

MiniCPM-o 是一款多模态大语言模型，支持图像、视频、文本和音频输入，具备实时双语对话和情感控制功能。最新版本 MiniCPM-o 2.6 拥有 8 亿参数，性能与 GPT-4o 相当。RealtimSTT 提供低延迟语音转文本功能，适合实时应用。copilot-codespaces-vscode 提供 AI 驱动的代码建议，提升开发效率。Chainlit 是一个开源 Python 框架，便于快速构建对话式 AI 应用。

商汤科技推出的SenseNova-5o是一款强大的AI交互模型，支持实时音视频对话、视觉识别和记忆能力，具备多轮对话和个性化设置，已在多种智能设备上应用，提升用户体验，现限时免费。

面壁智能推出的MiniCPM-o 2.6是最新的8B参数多模态大模型，性能接近GPT-4o，支持双语语音识别和实时对话，具备出色的视觉和语音处理能力，适用于多种设备，并在语音理解和生成方面实现开源SOTA，推动端侧AI发展。

Threads正在测试定时发布功能，Instagram的亚当·莫塞里表示，回复无法定时发布，以保持实时对话的活力。该功能旨在帮助用户更好地规划帖子，同时鼓励即时交流。目前，Threads的每日活跃用户超过1亿，月活跃用户超过3亿。

Fixie AI 推出的 Ultravox v0.4.1 是一款多模态开源模型，支持实时对话，能够处理文本和图像等多种输入，适用于客户支持和教育场景，响应延迟低，性能媲美 GPT-4，促进社区开发和技术民主化。