在数据仓库中使用AI函数:六大用例

在数据仓库中使用AI函数:六大用例

💡 原文英文,约1100词,阅读约需4分钟。
📝

内容提要

本文介绍了Databricks的AI Functions,可在纯SQL中运行六种AI用例,包括解析文档、分类、翻译、提取和生成。这些功能直接在数据仓库内处理非结构化数据,无需移动数据或额外管道,简化流程并增强治理。通过SQL查询即可实现情感分析、票据分类、销售提取等,提升效率并降低成本。

🔎

延伸解读

从“搬运数据”到“就地计算”

传统AI工作流需要将非结构化数据(如PDF、评论)导出到外部服务处理,再手工合并回数据仓库,过程繁琐且易因schema变化而中断。AI Functions将模型调用嵌入SQL,使推理在数据所在位置完成,无需额外管道,降低了数据移动带来的安全与治理风险。

六种函数覆盖常见AI需求

ai_parse_document负责解析PDF等二进制文件,ai_extract提取关键字段,ai_classify进行零样本分类,ai_translate实现多语言归一化,ai_query则提供通用提示接口。这些函数可组合使用,例如先解析发票再提取实体,或先翻译评论再分析情感,灵活应对多种场景。

治理与成本优势

所有AI函数均在Unity Catalog治理下运行,数据血缘从原始文件延伸到提取结果,全程可追踪。同时,由于无需额外托管模型服务或数据管道,减少了系统复杂度和运营成本,使AI能力更易集成到现有SQL ETL流程中。

适用场景与建议

文章建议从最脆弱的现有服务入手,用SELECT语句重写并测试10,000行数据,快速验证是否适用。这适合处理支持工单分类、销售通话记录提取、客户评论情感分析等任务,但需注意函数依赖Databricks环境,且效果受模型能力限制。

Q&A

Databricks AI Functions 是什么?

Databricks AI Functions 是一组内置函数,允许用户在纯 SQL 查询中直接调用 AI 模型,处理非结构化数据(如 PDF、文本)并与结构化数据结合,无需移动数据或构建额外管道。

AI Functions 如何解决传统 AI 工作负载中的数据移动问题?

传统方式需要将数据导出到外部 AI 服务,处理后再导回,过程缓慢且易出错。AI Functions 将 AI 直接带到数据所在位置,在 SQL 查询中调用模型,整个推理过程在现有管道和 Unity Catalog 治理内完成,避免了数据移动和相关的安全风险。

ai_parse_document 和 ai_extract 如何协同工作?

ai_parse_document 将原始二进制文件(如 PDF、图片)转换为可读文本,ai_extract 则从解析后的文本中提取特定字段(如发票中的实体)。两者结合,可以在单个查询计划中完成从原始文件到结构化数据的转换,替代了自定义 OCR 和第三方解析服务。

ai_classify 在情感分析中如何使用?

ai_classify 执行零样本分类,无需训练模型。例如,可以将客户评论(如 bronze.nps_responses 表中的数据)分类为正面、负面、中性和混合,从而将非结构化文本转化为可用于 BI 仪表板的查询列。

ai_translate 如何帮助处理多语言数据?

ai_translate 可以在查询层直接将多语言数据翻译成统一的目标语言(如英语),避免数据孤岛,使所有下游分析(如分类和提取)能够处理完整的全球数据集,而不是仅处理英语子集。

ai_classify 如何用于支持工单的自动路由?

ai_classify 可以在工单摄入时识别意图和紧急程度,从而自动将工单路由到合适的团队或触发自动响应系统,提高运营效率。

ai_extract 如何从销售通话记录中提取结构化信息?

ai_extract 可以从长文本(如销售通话记录)中挖掘半结构化信息,提取出下一步行动、交易阶段、风险标志和风险原因等字段,使定性信息可直接用于 BI 工具,帮助销售人员采取行动。

ai_query 的用途是什么?

ai_query 是最通用的函数,允许用户向任何 Databricks 托管的模型端点发送提示,并返回每行的模型回答。它可以用于生成文本(如续约邮件),处理其他特定函数无法覆盖的用例。

使用 AI Functions 对数据治理有什么好处?

AI Functions 在 Unity Catalog 治理下运行,所有推理过程都在数据仓库内完成,无需将数据移出,从而减少了安全风险,并统一了治理模型。

如何开始使用 AI Functions?

可以从一个列开始,选择当前最脆弱的服务,将其重写为 SELECT 查询,在 10,000 行数据上运行,并观察结果。每个演示笔记本都包含示例数据和分步 SQL,便于快速评估。

🏷️

标签

➡️

继续阅读