Grok Voice Think Fast 2.0 现已在 AI Gateway 上推出
内容提要
xAI推出Grok Voice Think Fast 2.0语音模型，支持语音输入输出，推理与说话并行，减少延迟，提升转录准确性和对话能力。通过AI Gateway实时API使用，需在服务器端生成短期令牌以保护API密钥，并可在playground试用。
延伸解读
并行推理降低延迟
该模型在说话的同时进行推理，无需等待完整回答生成即可开始响应，显著减少了用户感知的延迟。此外，它使用更少的推理令牌，工具调用可以更早触发，甚至可能在智能体说完第一句话之前就执行，这对于需要快速响应的交互场景尤为重要。
真实环境下的转录优化
模型针对真实世界条件进行了优化，包括背景噪音和电话压缩等常见干扰因素。这意味着在嘈杂环境或通过电话使用时，转录准确性依然可靠，提升了语音交互的实用性，而不仅仅是在理想条件下表现良好。
安全使用API密钥
通过AI Gateway使用该模型时，建议在服务器端生成短期令牌，避免将API密钥直接暴露给客户端。示例代码展示了如何通过gateway.experimental_realtime.getToken获取令牌和URL，确保密钥安全，同时支持在playground中试用模型。
Q&A
Grok Voice Think Fast 2.0 是什么？
Grok Voice Think Fast 2.0 是 xAI 推出的语音到语音模型，支持音频输入和输出，改进了推理、转录准确性和对话能力。
Grok Voice Think Fast 2.0 相比之前的 Grok Voice 模型有哪些改进？
它在推理、转录准确性和对话能力上有所改进，并且推理与说话并行，减少了延迟，同时使用更少的推理令牌，使工具调用更快。
Grok Voice Think Fast 2.0 如何减少延迟？
该模型在说话的同时进行推理，无需等待，因此减少了延迟。此外，它使用更少的推理令牌，使工具调用能在第一句话结束前触发。
Grok Voice Think Fast 2.0 在真实环境中的转录表现如何？
在真实条件下，包括背景噪音和电话压缩，转录准确性依然保持良好。
如何通过 AI Gateway 使用 Grok Voice Think Fast 2.0？
通过 AI SDK 的实时 API 使用，模型标识为 xai/grok-voice-think-fast-2.0。需要在服务器端生成短期令牌，以保护 API 密钥，并可在 playground 中试用。
为什么需要在服务器端生成短期令牌？
为了保护 API 密钥，避免将其暴露给客户端，从而增强安全性。
