DigitalOcean Inference Router 增强:性能调优路由,无需编写规则

DigitalOcean Inference Router 增强:性能调优路由,无需编写规则

💡 原文英文,约800词,阅读约需3分钟。
📝

内容提要

DigitalOcean推出Inference Router,可自动为每个请求选择最合适的AI模型,无需手动评测或配置。它整合Anthropic、OpenAI及Kimi、GLM、DeepSeek等模型,按任务匹配最佳模型。内部测试显示,其准确率高于Claude Opus 5.5和GPT-6 Astra,成本约低22%。用户可设预算或质量偏好,默认均衡。该功能已公开预览,不额外收费。

🔎

延伸解读

路由机制:自动匹配任务与模型

Inference Router 的核心是自动为每个请求选择最合适的模型。它基于 DigitalOcean 模型目录,涵盖 Anthropic、OpenAI 以及 Kimi、GLM、DeepSeek 等开源模型。路由模型会读取请求内容,将其匹配到预定义的任务类别,再结合用户偏好选择模型。整个过程无需手动配置规则或预设,且路由器具备缓存感知能力,会尽量保留同一模型以复用缓存,除非切换带来的收益超过成本。

性能与成本:内部测试结果

根据 DigitalOcean 内部测试,在软件工程、推理和智能体任务中,Inference Router 的准确率高于 Claude Opus 5.5 和 GPT-6 Astra,同时成本降低约 22%。这些结果基于 2026 年 10 月 12 日的内部评估,实际表现可能因配置而异,且不一定与公开排行榜一致。路由器通过持续评估模型在多种任务上的表现、成本和延迟来决定每个任务的最佳选择。

用户控制:偏好设置与未来自定义

用户可以通过 routing_preference 参数影响路由决策,可选 budget(偏好低成本模型)或 quality(关键任务优先质量),默认 balanced 适用于大多数场景。目前路由器基于通用优化,但未来将支持用户引入自己的评估集和成功标准,让路由更贴合具体需求。当新模型发布时,DigitalOcean 会重新运行评估,自动确保用户始终使用最适合的模型。

可用性与计费:公开预览阶段

Inference Router 现已进入公开预览阶段,使用该功能本身不额外收费,用户只需为实际处理请求的模型付费。开发者可以通过简单的 API 调用使用,将 model 参数设为 inference-router 并指定偏好。想要提前体验的用户可以通过 DigitalOcean 控制台的 Getting Started 页面申请。

❓

Q&A

DigitalOcean Inference Router 是什么?它主要解决什么问题?

DigitalOcean Inference Router 是一个自动为每个请求选择最合适 AI 模型的路由器。它解决了手动评测和切换模型耗时的问题,无需编写规则或构建自定义路由器,即可让每个请求由最适合的模型处理。

Inference Router 如何决定将请求路由到哪个模型?

当请求到达时,路由模型会读取请求,将其匹配到正确的任务类别,并结合用户偏好(如预算或质量)来选择最佳模型。路由决策基于公共基准和 DigitalOcean 内部评估,且路由器具有缓存感知能力,会尽量复用缓存。

Inference Router 支持哪些模型?

它整合了 DigitalOcean 模型目录中的模型,包括 Anthropic 和 OpenAI 的前沿模型,以及 Kimi、GLM、DeepSeek 等开源模型。每个新模型都会经过相同的测试,合格后加入路由器。

使用 Inference Router 的成本和性能表现如何?

在内部测试中,Inference Router 在软件工程、推理和代理任务上的准确率高于 Claude Opus 5.5 和 GPT-6 Astra,同时成本降低约 22%。公开预览期间不额外收费,仅按实际使用的模型计费。

如何设置 Inference Router 的偏好?默认是什么?

用户可以通过设置 preference 参数来影响路由选择:budget 偏好低成本模型,quality 偏好高质量模型,默认是 balanced(均衡)。大多数客户使用默认值即可。

Inference Router 目前处于什么阶段?如何获取访问权限?

Inference Router 目前处于公开预览阶段,可通过 DigitalOcean 控制台的 Getting Started 页面请求早期访问。公开预览期间无额外费用。

🏷️

标签

➡️

继续阅读