内容提要
Databricks推出AI函数ai_decide,基于决策模型而非LLM,能快速低成本地对文本做分类、评分和选择,适用于模型路由、文档处理、智能体评估等场景。它支持SQL和REST API,可在秒级内返回决策,适合实时应用,目前已开放Beta测试。
延伸解读
决策模型与LLM的差异
ai_decide基于决策模型而非LLM,专为快速、低成本的结构化决策设计。它不生成文本,而是直接返回概率、选项或评分,因此延迟和成本低于LLM。对于分类、评分等不需要复杂推理的任务,这种方案更高效,适合高规模企业工作流。
典型应用场景
文章列举了三个场景:产品评论分类与退货意向识别、根据提示难度路由到不同模型、以及作为AI助手的评判员检查答案是否符合政策。这些场景都涉及对非结构化文本做快速决策,ai_decide能通过SQL或REST API在秒级内完成。
实时决策能力
ai_decide能在几分之一秒内返回决策,足以驱动实时应用。Databricks用贪吃蛇游戏演示了这一点:每个tick将当前棋盘发送给ai_decide,询问下一步方向。这种低延迟特性使其适合智能体或应用中的实时分支选择,如调用哪个工具或执行哪个动作。
使用与生态
ai_decide目前处于Beta阶段,可通过SQL在受治理数据上大规模调用,或通过REST API集成到实时应用。对于已使用TypeSafe AI API的团队,ai_decide直接兼容。此外,Databricks支持在SQL中直接部署和运行开放权重的决策模型,提供了更灵活的选项。
Q&A
ai_decide 是什么?
ai_decide 是 Databricks 推出的原生 AI 函数,基于决策模型而非 LLM,能快速低成本地对文本进行分类、评分和选择,适用于模型路由、文档处理、智能体评估等场景。
ai_decide 和 LLM 有什么区别?
ai_decide 使用决策模型,不生成文本,而是直接返回决策和概率,因此比 LLM 在类似任务上延迟更低、成本更小。
ai_decide 有哪些典型使用场景?
典型场景包括:对产品评论进行分类和标记、为 AI 助手路由请求到合适模型、作为评判者评估 AI 回答是否符合政策,以及驱动实时应用(如贪吃蛇游戏)。
ai_decide 如何集成到现有系统中?
可以通过 SQL 调用,在受治理的数据上大规模做结构化决策;也可以通过 REST API 调用,为实时应用和智能体添加快速决策能力。
ai_decide 的响应速度有多快?
ai_decide 能在不到一秒内返回决策,快到足以驱动实时应用,例如在贪吃蛇演示中每个 tick 都能做出方向决策。
ai_decide 目前处于什么阶段?如何开始使用?
ai_decide 目前处于 Beta 阶段。可以通过 SQL 文档或 REST API 开始使用,对于已使用 TypeSafe AI API 的团队,ai_decide 函数直接兼容。