AI Gateway 上的 ElevenLabs
内容提要
Vercel与ElevenLabs合作，将14个ElevenLabs音频模型接入AI Gateway，覆盖语音转文字、流式语音合成、实时语音代理、音乐、音效和多声对话六类，支持统一API密钥调用并共享用量与成本追踪。上线前14天（至11月9日）全部模型五折。
延伸解读
统一密钥与用量追踪的整合价值
文章强调，所有ElevenLabs音频模型均可通过AI Gateway的单一API密钥调用，且每次请求都会进入与其他AI Gateway流量相同的用量、成本和追踪视图。这意味着开发者无需为ElevenLabs单独管理密钥或计费面板，就能在现有网关体系中统一监控音频类调用。对于已使用AI Gateway的项目，接入音频能力的运维成本较低，但需注意该统一视图仅覆盖通过网关发起的请求。
模块化语音管线的灵活替换
文章以航班转机问答为例，展示了一条由Scribe v2 Realtime转写、语言模型推理、Eleven Flash v2.5流式朗读组成的管线。由于每个步骤都是独立模型，开发者可以单独更换转写、语言或语音模型，而不影响管线其余部分。这种设计便于针对延迟、语言支持或成本进行局部调优，但也要求开发者自行协调各环节的输入输出格式与流式衔接。
实时语音代理的会话与安全要点
Eleven Realtime v1 Max和Mini在单个WebSocket会话内完成听与说，省去单独的转写和语音步骤。文章指出，服务端只需签发短期令牌，浏览器直接建立WebSocket连接，从而避免将API密钥暴露在客户端。同时，这两个模型支持语义VAD来判断用户是否说完，但不支持server-vad，开发者在配置会话时需注意这一限制，以免误用导致交互异常。
音乐、音效与多声对话的调用方式
Music v2.5/v2和Sound Effects v2均通过generateSpeech调用，但传入的是描述声音的文本而非朗读内容，音乐还可指定长度和分段风格。多声对话模型Eleven v4/v4 Turbo/v3则允许在单次请求中为每行脚本分配不同语音ID，直接输出连续录音，免去拼接片段。这些能力适合播客、游戏音效等场景，但文章未涉及生成质量或版权归属等细节，实际使用前需自行评估。
Q&A
Vercel AI Gateway 现在支持哪些 ElevenLabs 音频模型？
AI Gateway 支持 14 个 ElevenLabs 模型，覆盖六类：语音转文字（scribe-v2、scribe-v2-realtime）、流式文本转语音（eleven-flash-v2.5、eleven-flash-v2、eleven-multilingual-v2、eleven-v3-conversational）、实时语音代理（eleven-realtime-v1-max、eleven-realtime-v1-mini）、音乐（music-v2.5、music-v2）、音效（sound-effects-v2）和多声对话（eleven-v4、eleven-v4-turbo、eleven-v3）。
如何通过 AI Gateway 使用 ElevenLabs 的实时语音代理？
使用 Eleven Realtime v1 Max 或 Mini 模型，它们在一个 WebSocket 会话中完成整个语音对话。服务器只需调用 gateway.experimental_realtime.getToken 生成短期令牌，浏览器端使用 @ai-sdk/react 的 useRealtime 钩子连接 WebSocket、捕获麦克风并播放音频。在 sessionConfig 中设置 ElevenLabs 语音 ID 和 turnDetection: { type: 'semantic-vad' }。
ElevenLabs 模型在 AI Gateway 上有优惠吗？
有。为庆祝上线，所有 ElevenLabs 模型在 AI Gateway 上前 14 天（截至 11 月 9 日）享受五折优惠。
AI Gateway 如何统一管理 ElevenLabs 的用量和成本？
所有通过 AI Gateway 发起的 ElevenLabs 请求都会与其他 AI Gateway 流量一样，出现在统一的用量、成本和追踪视图中。AI Gateway 按提供商定价收费，不加价，也不收取推理平台费（包括 BYOK 请求）。
ElevenLabs 的多声对话模型怎么用？
使用 Eleven v4、v4 Turbo 或 v3 模型，在单次请求中为每行文本指定不同的语音 ID，每个语音变化即开始新回合。例如，通过 streamSpeech 传入文本数组，每项包含 text 和 voice，并在 providerOptions 中设置 dialogue.voices 列表，即可生成一段连续的多角色录音。
ElevenLabs 的音乐和音效模型如何生成音频？
Music v2.5 和 Music v2 根据文本描述生成完整音乐（可指定时长、风格、乐器，支持分段控制）；Sound Effects v2 生成短音效（如脚步声、关门声、循环环境音）。两者都使用 generateSpeech 函数，传入描述文本而非朗读文本，并通过 providerOptions 设置时长等参数。
