将Workers AI与AI Gateway统一为单一AI控制平面

💡 原文英文,约1900词,阅读约需7分钟。
📝

内容提要

Cloudflare将Workers AI与AI Gateway整合为统一AI控制平面,用户可通过单一入口连接任意模型提供商,自动获得可观测性、日志、计费和安全功能。新功能支持AI Gateway信用用于Workers AI,并计划推出模型优先路由和智能路由,提升灵活性与弹性。

🔎

延伸解读

统一入口的实践意义

文章指出,通过将 Workers AI 与 AI Gateway 统一,开发者无需再分别配置两个产品。使用默认网关即可自动获得日志、令牌统计和成本归属,无需手动创建网关。这降低了使用门槛,尤其适合刚接触 AI 服务的开发者。对于已有复杂需求的应用,仍可创建命名网关进行自定义,灵活性并未丢失。

计费与额度变化

新功能允许将 AI Gateway 的信用额度用于 Workers AI,实现统一计费。这意味着用户可以在一个钱包中管理所有模型提供商的费用,包括 OpenAI、Anthropic 等。同时,使用统一计费还能获得 Workers AI 模型的更高速率限制。这一变化简化了成本管理,但具体速率限制需查阅官方文档。

路由策略的演进方向

文章预告了模型优先路由和智能路由。模型优先路由让用户指定模型,由网关自动选择提供商并处理故障转移,提高弹性。智能路由则进一步根据提示词自动选择模型,无需配置。这些功能尚在开发中,但预示着未来开发者可以更专注于模型能力而非基础设施管理。

Q&A

Cloudflare 将 Workers AI 和 AI Gateway 整合后,用户如何通过一个入口连接不同的模型提供商?

整合后,用户可以通过统一的 Workers binding 或 REST API(/ai/ 端点)连接任意模型提供商,包括 Workers AI。只需在调用时指定 gateway ID(如 'default'),即可自动获得可观测性、日志、计费和安全功能。

如何在不预先创建 AI Gateway 的情况下获得 Workers AI 的日志和可观测性?

只需在调用 Workers AI 时传入 gateway 参数,并设置 id 为 'default'。AI Gateway 会在第一次认证请求时自动创建默认网关,之后所有请求都会被记录,包括请求和响应内容、token 用量、成本归属等,无需手动设置仪表盘。

AI Gateway 信用现在可以用于 Workers AI 吗?有什么好处?

可以。Cloudflare 已启用统一计费,用户可以将 AI Gateway 钱包中的信用用于 Workers AI 以及其他支持的提供商(如 OpenAI、Anthropic)。使用 AI Gateway 统一计费还可以获得 Workers AI 模型的更高速率限制。

什么是模型优先路由?它与传统的提供商优先路由有何不同?

模型优先路由是 Cloudflare 计划推出的新功能,用户只需指定所需模型(如 Kimi K2.7 Code),AI Gateway 会自动选择提供商、处理故障转移和负载均衡。而提供商优先路由需要用户手动指定提供商,并自行处理提供商故障。模型优先路由提高了灵活性和弹性。

Cloudflare 的智能路由是如何工作的?

智能路由是模型优先路由的下一步,它通过一个在 Workers AI 上运行的分类器读取用户提示,预测任务类型(如编码、研究、摘要、问答)、复杂度和上下文重要性,然后由启发式评分器从精选模型池中选择最佳模型。用户无需配置即可获得最佳性能和成本效益。

如果我已经在使用 Workers AI,如何开始使用 AI Gateway 的功能?

只需在现有的 Workers AI 调用中添加第三个参数,指定 gateway 为 { id: 'default' },即可自动获得请求日志、token 跟踪和成本归属,无需更改其他代码。

🏷️

标签

➡️

继续阅读