AI Gateway 现已支持 TypeSafe 客户端及 Jev 的 HTTP API

AI Gateway 现已支持 TypeSafe 客户端及 Jev 的 HTTP API

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

TypeSafe AI 的 Jev 模型已接入 AI Gateway,支持三种调用方式:现有 TypeSafe 客户端只需更换 baseURL 和 API key;HTTP API 可 POST 至 /v1/evaluate;AI SDK 可用 evaluate 函数。Jev 是概率决策模型,输入状态后输出带概率的类型化答案,支持 boolean、choice、score 三种问题类型,无需解析生成文本。请求统一计费并纳入用量观测。eve 框架已将其设为默认评估模型。

🔎

延伸解读

三种接入方式,迁移成本各异

文章给出了三种调用 Jev 的路径:已有 TypeSafe 客户端只需修改 baseURL 和 API key,评估调用与响应结构完全不变;HTTP API 适合任意语言或框架,直接 POST 到 /v1/evaluate;AI SDK 则通过 evaluate 函数在 TypeScript 应用中使用。选择哪种方式主要取决于现有技术栈,而非功能差异。

概率化输出如何用于决策

Jev 是概率决策模型,输入状态后输出带概率的类型化答案,无需解析生成文本。它支持 boolean、choice、score 三种问题类型:boolean 返回 0 到 1 的概率,choice 从指定选项中选择,score 按自定义量表评分。示例中通过判断概率是否大于等于 0.8 来决定代理是否继续工作,这种阈值判断可直接嵌入自动化流程。

统一计费与可观测性

无论通过 TypeSafe 客户端、HTTP API 还是 AI SDK 调用 Jev,请求都经由 AI Gateway 计费,并与其他模型调用一起出现在用量和可观测性数据中。这意味着团队无需为 Jev 单独建立计费或监控体系,但同时也意味着所有调用都会计入 AI Gateway 的用量统计。

eve 框架的默认评估模型

文章提到 eve 是一个用于构建和部署持久代理的框架,内置沙箱计算、人工审批和评估功能。eve 已将 Jev 设为默认评估模型,用于自动模型选择、类型化评估和自动化工具审批。对于使用 eve 的开发者,这意味着无需额外配置即可获得 Jev 的评估能力。

❓

Q&A

Jev 模型可以通过哪些方式调用?

Jev 支持三种调用方式:1) 现有 TypeSafe 客户端,只需更换 baseURL 和 API key;2) HTTP API,POST 到 /v1/evaluate;3) AI SDK,使用 evaluate 函数。

如何将现有的 TypeSafe 客户端迁移到 AI Gateway?

只需更改 base URL 和 API key。将 baseURL 设置为 'https://ai-gateway.vercel.sh/typesafe',并使用 AI_GATEWAY_API_KEY 作为 apiKey。原有的 systemOne 调用、noul 问题和响应结构保持不变。

Jev 支持哪些类型的问题?

Jev 支持三种问题类型:boolean 返回 0 到 1 的概率;choice 从你指定的选项集中选择一个;score 根据你定义的量表进行评分。

Jev 是什么?它的输出有什么特点?

Jev 是一个用于软件的概率决策模型。输入状态后,输出带有概率的类型化答案,因此无需解析生成的文本。

通过 AI Gateway 调用 Jev 如何计费和观测?

所有三种调用路径的请求都通过 AI Gateway 计费,因此它们会与其他模型调用一起出现在用量和可观测性中。

eve 框架如何使用 Jev?

eve 是一个用于构建和部署持久代理的框架,内置沙箱计算、人工审批和评估。eve 将 Jev 作为默认评估模型,用于自动模型选择、类型化评估和自动化工具审批。

🏷️

标签

➡️

继续阅读