ZEGO 实时互动 AI Agent 2.14.0 发布:新增 Microsoft ASR 供应商等功能

ZEGO 实时互动 AI Agent 2.14.0 发布:新增 Microsoft ASR 供应商等功能

💡 原文中文,约1000字,阅读约需3分钟。
📝

内容提要

ZEGO实时互动AI Agent 2.14.0版本发布,新增Microsoft ASR供应商、获取AI语音播报文本内容PlayedText、对讲机模式与聆听模式支持取消聆听,以及基于Server Secret加密APIKey等功能。

🔎

延伸解读

多ASR供应商选择的意义

新增Microsoft ASR供应商后,ZEGO实时互动AI Agent已支持腾讯ASR、阿里云百炼、火山大模型流式语音识别模型等多家ASR服务。开发者可根据不同场景需求(如识别准确率、语言支持、成本等)灵活选择最合适的供应商,避免被单一厂商锁定,提升系统的可扩展性和容错性。

PlayedText的实用价值

AI语音播报被中断时,通过Interrupted回调中的PlayedText可获取实际已播放的文本内容。这一功能对于需要记录或分析用户交互过程的场景非常有用,例如客服质检、教育辅导等,可帮助开发者了解用户听到的内容,优化对话流程和用户体验。

互动模式与取消聆听的灵活性

对讲机模式与聆听模式支持取消聆听,为开发者提供了更精细的交互控制。通过设置CommunicationMode和调用StopListening,可实现按需发言的短轮交互,或随时终止当前聆听,适应不同应用场景(如智能助手、语音问答等),提升交互的自然度和效率。

APIKey加密增强安全性

基于Server Secret的AES-128-GCM加密模式,可对LLM.ApiKey进行加密后再用于请求,有效防止APIKey在传输或存储过程中泄露。密文不合法或解密失败时返回错误码410001040,便于开发者快速定位问题。这一功能对于涉及敏感数据的企业级应用尤为重要。

Q&A

ZEGO 实时互动 AI Agent 2.14.0 版本新增了哪些主要功能?

新增 Microsoft ASR 供应商、获取本轮 AI 语音播报的文本内容 PlayedText、对讲机模式与 AI Agent 聆听模式支持取消聆听,以及基于 Server Secret 加密 APIKey 等功能。

如何配置 Microsoft ASR 供应商?

将 ASR.Vendor 设置为 Microsoft,并可在 ASR.Params 中配置 language、phrase_list 等参数。详细配置方式请参考开发文档“配置 ASR”。

ZEGO 目前支持哪些 ASR 厂商及模型?

目前 ZEGO 支持的 ASR 厂商及模型包括 Microsoft、腾讯 ASR、阿里云百炼、火山大模型流式语音识别模型。

如何获取 AI 语音播报被打断时实际播放的文本内容?

AI 播报被打断时,可通过 Interrupted 回调中的 PlayedText 获取本轮实际已播放的文本内容。该能力适用于 LLM 输出和 sendAgentInstanceTTS 触发的语音播报。

对讲机模式和聆听模式有什么区别?如何设置?

对讲机模式是用户按住说话、松开后获得 AI 回复的短轮交互场景;聆听模式则是持续聆听。创建智能体实例时,可通过 AdvancedConfig.CommunicationMode 设置互动模式:1 为聆听模式,2 为对讲机模式。

如何取消当前聆听?

调用 StopListening 可结束当前聆听,请求需携带 AgentInstanceId,可选 UserId 和递增的 Sequence。

如何启用基于 Server Secret 加密 APIKey 的功能?

在 AdvancedConfig 中将 LLMApiKeyEncryptMode 设置为 1,启用 AES-128-GCM 加密模式。使用 Server Secret 加密 LLM.ApiKey 后,再用于注册智能体或创建智能体实例请求。

APIKey 密文不合法或解密失败时会返回什么错误码?

返回错误码 410001040。

🏷️

标签

➡️

继续阅读