TypeSafe AI 的 Jev 现已上线 AI Gateway
内容提要
TypeSafe AI 的 Jev 概率决策模型已上线 AI Gateway，可接收状态、并行评估所有问题，直接返回带类型的 Choice、Score 和 Boolean 答案及概率，无需生成文本，便于自动化明确情况、转人工处理不确定情况。官方称其比 LLM 快 193.6 倍、便宜 444.6 倍。AI SDK 7 通过实验性 evaluate API 支持，需指定模型、状态和问题，并支持零数据保留。
延伸解读
Jev 与 LLM 的差异
Jev 是概率决策模型，输入状态后并行评估所有问题，直接返回带类型的 Choice、Score 和 Boolean 答案及概率，无需生成文本。而 LLM 逐 token 生成文本，应用需解析和验证。这使 Jev 更适合自动化明确情况，并将不确定情况转人工。
性能与成本优势
TypeSafe 报告称，在其工作流评估中，Jev 比 LLM 快 193.6 倍、便宜 444.6 倍。这些数据基于特定评估，实际效果可能因工作流而异，但表明 Jev 在速度和成本上具有显著潜力。
典型应用场景
Jev 可用于选择下一个工具或子代理、决定继续/重试/询问用户/停止、评分紧急度或风险、验证模型输出并执行护栏。这些场景需要快速、结构化的决策，Jev 的并行评估和类型化答案能简化实现。
使用与集成要点
通过 AI SDK 7 的实验性 evaluate API 使用 Jev，需指定模型、状态和问题。支持零数据保留和无训练，每次请求可启用。评估调用计入日志和预算，并接受其他 Gateway 提供商选项。建议用标注示例校准概率和置信度。
Q&A
Jev 是什么？它和普通语言模型有什么不同？
Jev 是 TypeSafe AI 推出的概率决策模型，用于软件决策。普通语言模型逐 token 生成文本，需要应用解析和验证；而 Jev 并行评估所有声明的问题，直接返回带类型的答案和概率，无需生成文本。
Jev 在速度和成本上比 LLM 快多少、便宜多少？
根据 TypeSafe 的报告，在其工作流评估中，Jev 比 LLM 快 193.6 倍，便宜 444.6 倍。
Jev 有哪些典型的使用场景？
典型使用场景包括：在智能体循环中选择下一个工具或子智能体；决定继续、重试、询问用户还是停止；在行动前评估紧急程度或风险；验证模型输出并实施护栏。
如何在 AI SDK 7 中使用 Jev？
AI SDK 7 通过实验性的 evaluate API 暴露 Jev。需要安装 AI SDK 7.0.105 或更高版本，调用时指定模型为 'typesafe-ai/jev'，并提供 state 和 questions。示例代码展示了如何评估一个支持案例。
Jev 支持哪些类型的答案？
Jev 支持三种类型：Choice（选择一个选项）、Score（对有序评分标准打分）和 Boolean（估计为真的概率）。
Jev 如何保证数据隐私？
Jev 支持零数据保留（Zero Data Retention）和无训练（No Training），可以在每个请求中通过 providerOptions.gateway 启用。
