Mercor如何在一个平台上交付内部应用并处理数十亿生产token
内容提要
Mercor为AI实验室提供专家数据与模型评估服务。业务激增时，模型请求常触及供应商速率限制，批处理任务曾耗时超12小时。采用Vercel AI Gateway后实现多供应商故障转移，任务缩短至2-3小时，10天内路由1800万请求、630亿token。同时用Passport统一认证，业务团队自建约2000个应用，访问开通仅需数秒；并通过按用户密钥限制token与支出、为智能体设定窄权限，兼顾安全与效率。
延伸解读
故障转移如何化解客户截止时间风险
Mercor的批处理任务曾因供应商速率限制而排队重试，耗时超过12小时，占用了客户24小时截止时间的一半以上。AI Gateway通过多供应商故障转移，在请求触及限制时自动切换，使任务缩短至2-3小时。这说明在需求突发场景下，单一供应商的容量瓶颈可能直接威胁交付承诺，而路由层的弹性是保障时限的关键。
按用户密钥实现成本可见与可控
此前Mercor难以按团队和项目追踪token消耗，一个脚本循环错误就可能耗尽预算。现在数百名工程师通过带过期时间、token限额和支出上限的个人密钥使用开放模型，安全团队可依据使用记录定位消耗来源。这种细粒度控制让实验有预算和期限，同时避免凭据管理负担，平衡了创新与成本风险。
业务团队自建应用背后的认证自动化
Mercor的业务团队在Vercel上创建了约2000个项目，许多是特定客户 engagement 的临时环境。通过Passport统一认证层，结合内部产品Audiences，团队选择专家后自动创建IdP组、Vercel连接和Passport配置，访问开通仅需数秒，覆盖数十到数万人。离职时移除组即撤销访问，避免残留权限，使安全流程不随应用数量线性增长。
智能体权限最小化的实践
Mercor为每个智能体设定与其职责匹配的窄权限，而非继承调用者的全部权限。对于通过AI Gateway使用开放模型的智能体，还可限定模型访问、设置过期时间和支出上限。这种将模型使用治理与系统操作权限分离的做法，降低了智能体被滥用或误用的风险，同时保留了业务灵活性。
Q&A
Mercor 如何解决模型请求触及供应商速率限制导致批处理任务超时的问题？
Mercor 采用 Vercel AI Gateway 来管理模型访问，在请求触及速率限制时实现多供应商之间的故障转移路由，让批处理任务继续执行而非在重试队列中等待。原本超过 12 小时的批处理任务缩短至 2 到 3 小时，为完成客户其余工作留出更多时间。
Vercel AI Gateway 在 Mercor 的生产环境中表现如何？
在接入 AI Gateway 的前 10 天内，Mercor 通过它路由了 1800 万次请求和 630 亿个 token，且未触及速率限制。工程师还能通过统一的 API 访问领先的基础模型提供商和不断增长的开放模型目录，无需为每个新模型单独构建提供商集成。
Mercor 如何控制工程师使用开放模型时的 token 消耗和成本？
Mercor 的数百名工程师通过 AI Gateway 使用开放模型，每个用户拥有带过期日期、token 限制和支出限制的密钥。安全团队可以为实验设定预算和截止日期，并利用使用记录查看哪个用户、项目和工作负载在驱动消耗，从而避免脚本循环错误耗尽预算。
Mercor 的业务团队如何在不依赖工程团队的情况下自建应用并管理访问？
Mercor 的业务团队在 Vercel 上自建应用，项目数量从不到十几个增长到约 2000 个。他们使用 Vercel Passport 作为统一认证层，通过现有身份提供商处理登录。身份团队还构建了 Audiences 产品，集成 Passport 来自动化访问开通：选定专家后自动创建 IdP 组、Vercel 连接和 Passport 配置，数秒内即可为数十到数万名专家开通访问，离职时反向操作即可移除访问权限。
Mercor 如何为智能体设定权限以兼顾安全与效率？
Mercor 为每个智能体赋予适合其任务的窄权限，而不是调用者拥有的全部权限。对于通过 AI Gateway 使用开放模型的智能体，Mercor 还可以限定模型访问范围、设置过期日期和支出上限，从而在管理模型使用的同时，单独控制每个智能体可以访问的系统和操作。
Mercor 未来在内部应用和模型使用方面有什么计划？
Mercor 预计更多开放模型将驱动其内部智能体和系统，更多非工程团队将为专家构建工具。公司希望团队减少在模型集成和应用认证上的时间，以便快速响应客户紧迫的工作负载，目标是让安全路径成为最快路径，通过共享模型访问和可重复的认证工作流帮助专家及时获得工具，同时避免安全工作以同等速度增长。
