OpenAI以基于Luna构建的Decision API回应TypeSafe的Jev
内容提要
OpenAI在DevDay发布Decisions API，基于最小的Luna模型，返回带置信度的预设答案而非聊天文本，响应仅150毫秒。它介于提示词聊天模型与小型分类器之间，适合内容分类、请求路由和智能体决策。目前仅限预览，定价、候选答案数量及能否自定义微调尚不明确。
延伸解读
决策模型与聊天模型的本质区别
文章指出，决策模型明确不是聊天模型，而是返回一组带置信度的预设答案。常规大语言模型不擅长此任务，其置信度分数往往只是粗略猜测，且消耗大量token。决策模型能提供更真实的置信度分数，并极快返回结果。OpenAI称其模型150毫秒返回，而GPT-6 Luna需1.6秒。
在现有方案中的定位
目前团队通常用聊天模型加精心设计的提示词，或训练小型分类器。前者依赖token概率获取近似置信度，后者快速便宜但需标注数据且标签集变化时需重新训练。决策模型介于两者之间：在提示中接受新标签，并返回可用的分数。
与OpenAI现有API的异同
OpenAI的Moderation API长期返回按类别分数而非文本，但类别由OpenAI预设，开发者无法自定义。而Decision API允许开发者提供问题、答案和上下文，候选答案由开发者指定。不过，文章指出尚不清楚该API每次调用成本、单次请求能处理多少候选答案，以及开发者能否用自己的数据微调。
发布背景与不确定性
文章提到，TypeSafe的Jev突然崛起使决策模型流行，OpenAI在DevDay上宣布Decisions API，可能是对此的回应，且可能为赶在DevDay前匆忙发布。目前该API仅限预览，广泛发布计划在未来几天。OpenAI发言人称将在广泛推广时分享更多信息。这些细节将决定它成为智能体框架的标准组件还是小众工具。
Q&A
OpenAI在DevDay上发布了什么新API？
OpenAI在DevDay上发布了Decisions API，基于其最小的Luna模型。
Decisions API和普通聊天模型有什么不同？
Decisions API不是聊天模型，它返回一组带置信度分数的预设答案，而不是生成聊天文本。
Decisions API的响应速度有多快？
OpenAI表示其模型在150毫秒内返回结果，而GPT-6 Luna需要1.6秒。
决策模型适合哪些应用场景？
决策模型适合内容分类、请求路由，或从有限选项中选择智能体的下一步行动。
目前Decisions API的可用性如何？
目前仅限预览，广泛发布计划在接下来几天内进行。
关于Decisions API还有哪些信息未明确？
每次调用的费用、单个请求能处理多少候选答案，以及开发者能否用自己的数据微调，这些细节尚不明确。
