ElevenLabs 想接管你的语音代理，开发者需要放弃什么？
内容提要
ElevenLabs推出Eleven Realtime，提供Mini和Max两款托管语音代理模型，整合语音识别、推理、轮流对话与语音生成，但开发者无法独立配置底层模型。Max在语音推理和工具调用上更强，Mini适合多数场景且轮流对话表现略优。该服务兼容OpenAI Realtime API协议，但迁移需改用WebSocket并自行处理音频。
延伸解读
托管语音代理的取舍：省事但失去底层控制
Eleven Realtime 将语音识别、推理、轮流对话和语音生成整合为托管服务，开发者无需自行搭建和维护语音代理栈，但代价是无法选择或独立配置底层模型。这意味着当通话失败时，开发者难以单独排查、优化或替换某个组件。虽然可通过 ElevenAgents 调整提示词、语音、工具和轮流对话设置，但核心模型仍由 ElevenLabs 掌控。对于需要深度定制或故障定位的团队，这种黑盒式托管可能带来长期运维风险。
Mini 与 Max 的选择：工具调用能力差距显著
根据 Artificial Analysis 的评测，Max 在语音推理基准 Big Bench Audio 上得分 98.8%，远高于 Mini 的 75.9%；工具使用任务完成率 Max 为 87.1%，Mini 仅 60.3%。ElevenLabs 建议频繁或复杂工具调用的场景选用 Max，而 Mini 作为默认模型适合多数用例，且在轮流对话测试中略优于 Max。两者延迟接近，Max 首音频平均 570 毫秒，Mini 为 620 毫秒。开发者若涉及预订、账户等多步工作流，应实测两者差异。
从 OpenAI 迁移：协议兼容但音频处理需自建
Eleven Realtime 兼容 OpenAI Realtime API 协议，使用相同 WebSocket 传输，基于 OpenAI SDK 的应用只需更改端点和模型名即可迁移。但迁移并非零成本：该端点仅支持 WebSocket，原本使用 WebRTC 的应用需先切换传输方式，并自行处理 24kHz PCM16 音频的采集与播放，而 WebRTC 下 SDK 会自动处理这些。此外，电话、WhatsApp 渠道、知识库和监控等功能位于 ElevenAgents 平台侧，若团队需要这些功能，应直接从 Eleven
计费与合规限制：Max 成本更高但可能更划算
两款模型均按 ElevenAgents 标准每分钟费率加 token 计费，Max 的 token 单价更高。但由于 Max 工具调用成功率更高，对于 Mini 需要多次尝试才能完成的任务，Max 反而可能更经济。合规方面，Mini 不支持零保留模式和 HIPAA 配置；Max 在美国和欧盟支持这两项，但在印度和新加坡数据驻留环境中不可用。此外，Mini 与 Max 代理之间可转接通话，但均无法与 Custom 模式代理互转。开发者需根据业务场景权衡成本与合规要求。
Q&A
ElevenLabs 的 Eleven Realtime 是什么？它提供哪些模型？
Eleven Realtime 是 ElevenLabs 推出的托管语音代理服务，提供 Mini 和 Max 两款模型，整合了语音识别、推理、轮流对话和语音生成。
使用 Eleven Realtime 时，开发者能控制哪些部分？不能控制哪些？
开发者可以通过 ElevenAgents 配置提示词、语音、工具、知识库和轮流对话设置（如急切度、超时、中断处理），但无法选择或独立配置底层的语言和语音模型。
Mini 和 Max 在性能和适用场景上有什么区别？
Max 在语音推理和工具调用上更强（Big Bench Audio 得分 98.8% vs 75.9%，工具使用完成率 87.1% vs 60.3%），适合频繁或复杂的工具调用；Mini 是默认模型，适合大多数场景，且在轮流对话测试中略优（95.8% vs 94.1%）。延迟方面两者接近（Max 570ms，Mini 620ms）。
从 OpenAI Realtime API 迁移到 Eleven Realtime 需要做哪些改动？
迁移需要将端点改为 ElevenLabs 的端点并更换模型名称，同时必须改用 WebSocket 传输（仅支持 WebSocket），并自行处理 24kHz PCM16 音频的采集和播放，因为 SDK 仅在 WebRTC 下自动处理音频。
Eleven Realtime 与 ElevenAgents 平台是什么关系？如果需要电话或 WhatsApp 渠道该怎么办？
Realtime API 独立于 ElevenAgents 平台运行，电话和 WhatsApp 渠道、知识库、监控等功能都在平台侧。如果需要这些功能，应直接从 ElevenAgents 开始构建，否则后期可能需要重建。
Mini 和 Max 在功能支持上有哪些限制？
Mini 不支持 Zero Retention Mode 和 HIPAA 配置；Max 在美国和欧盟支持这两项，但在印度和新加坡的数据驻留环境中不可用。此外，两者之间可以转接呼叫，但都不能与 Custom 模式的代理互相转接。
Eleven Realtime 的计费方式是怎样的？Max 更贵是否一定成本更高？
两款模型都按 ElevenAgents 的标准每分钟费率计费，外加 token 费用。Max 的 token 单价更高，但由于其工具使用性能更强，在 Mini 需要多次尝试才能完成的任务中，Max 可能反而更便宜。
