本文介绍了 AI 助手理解和回应语音的过程，包括音频转换为频谱图、特征提取、量化、Transformer 编码和解码等步骤。这些技术将音频信号转化为向量和标记，最终生成有意义的输出，揭示现代语音模型的复杂性。

Amazon Nova Sonic 是一款集成语音理解与生成的模型，简化语音应用开发，支持低延迟对话，能够动态调整语音回复，处理多种说话风格，并具备内容审核功能，适用于客户支持等场景。

亚马逊推出新基础模型Amazon Nova Sonic，整合语音理解与生成，提升AI语音对话的自然性。该模型能够根据语气和口语输入调整响应，理解对话细节，并生成文字转录，简化语音应用开发。

Step-Audio是一个由中国AI开发者创建的开源框架，旨在提升语音理解与生成的真实感。它支持多语言对话、情感语调和方言，拥有130B参数的多模态模型，集成语音识别和对话处理功能。该系统通过AI生成数据优化训练质量，适用于语音AI应用，具备语音克隆和实时交互能力。

MinMo模型通过多阶段训练结合语音和文本，显著提升了语音理解和生成能力，尤其在多语言和情感识别方面表现优于现有模型。该模型拥有约80亿参数，响应延迟约600毫秒，为未来研究设定了新基准。

苹果宣布了几个AI功能，将应用于Siri虚拟助手，包括更新设计、改进语音理解和语言命令的能力，以及与OpenAI的ChatGPT模型的集成。Siri的更新设计使其在设备上更加突出，使用时屏幕会显示一个闪烁的多彩边框。Siri还能更好地理解用户的话语，并能在请求之间保持对话的上下文。用户还可以通过描述他们希望使用的应用程序或功能来提出请求，Siri能够理解并获取相关信息。苹果智能赋予了Siri“屏幕意识”，使其能够在屏幕上执行操作并理解屏幕上的内容。Siri还将能够通过语音命令执行复杂任务，如在特定位置或服装中获取朋友的照片，并在请求时对这些照片进行增强处理。ChatGPT的集成预计将在今年晚些时候推出，而由苹果智能提供支持的新Siri功能将在今年秋季的iOS 18测试版中推出。