内容提要
Databricks产品营销总监Richard Tomlinson指出,自然语言分析长期未兑现承诺,瓶颈不在大模型,而在缺乏业务上下文。可信的AI分析需三层基础:受治理的数据、明确可读的语义定义,以及可追溯验证的信任层。语义锚定将问题绑定到企业实际指标、关系与规则,治理则贯穿AI代理的每个决策。Genie通过本体、对话上下文管理和权限控制,让非专业用户也能获得可信答案。
延伸解读
自然语言分析的历史瓶颈:上下文缺失
过去十年,自然语言查询可视化未能兑现承诺,并非大模型能力不足,而是系统缺乏业务上下文。早期NL-to-SQL仅将问题映射到列名并生成查询,无法处理企业数据中指标定义冲突、模糊连接、业务规则隐藏于个人经验等问题。即使模型进步,仍靠原始表名猜测含义,导致同一问题答案不一致。因此,仅靠模型升级无法解决,必须补充受治理的语义层。
可信AI分析的三大基础
要让非专业用户信任AI分析,需三层基础:第一,数据受治理,包括清洁、一致、无重复的记录,以及细粒度访问控制;第二,语义明确且机器可读,如受治理的指标定义、业务术语、主外键关系和认证源,并注册在Unity Catalog中供AI代理查询时使用;第三,信任与验证层,能追溯每个AI答案背后的定义、来源和权限,让用户检查“为什么”而不仅是“是什么”。
语义锚定与治理如何协同工作
语义锚定将AI对问题的解释绑定到企业实际业务定义、关系和规则,而非让模型从列名猜测。例如,代理在生成SQL前就知道“净收入”采用特定计算、应来自认证财务表、财季从二月开始、免费试用用户不计入留存指标。治理则贯穿代理的每个决策,包括选表、连接、指标定义和行级权限。Unity Catalog提供细粒度访问控制、认证信号和弃用标志,确保代理只使用用户有权查看的上下文。
对话上下文管理与集成权限
对话式分析中,跟踪上下文是常被低估的挑战。Genie通过维护对话状态,利用表列元数据、编辑指令和先前轮次上下文来理解后续问题,如“按地区细分”中的“那个”指代上一查询的指标、时间窗和过滤条件。若问题模糊,可请求澄清。集成方面,Genie Conversation API和MCP服务器允许嵌入外部应用,权限通过Unity Catalog按用户执行,推荐使用代表用户(OBO)OAuth,确保不同用户获得基于其权限的答案。
Q&A
为什么自然语言查询可视化喊了十年,却一直没真正兑现承诺?
瓶颈不在大模型,而在缺乏业务上下文。早期NL-to-SQL只做语言到模式的翻译,无法理解企业数据中的指标歧义、模糊关联和业务规则,导致同一问题可能得到不同答案。
要让非专业用户信任AI分析给出的答案,底层需要满足哪三个条件?
第一,数据本身受治理,包括干净、一致、细粒度权限控制;第二,数据的含义必须显式且机器可读,如受治理的指标定义、业务术语和认证来源;第三,要有信任与验证层,能追溯每个AI答案背后的定义、来源和权限。
什么是语义锚定?它如何让自然语言生成的数据可视化更可靠?
语义锚定是将AI对问题的解释绑定到企业实际的业务定义、关系和规则上,而不是让模型从列名猜测。例如,代理在生成SQL前就知道“净收入”使用特定计算、来自认证财务表、财季从二月开始等。这样生成的图表基于领域专家使用的相同定义和逻辑,从而可信。
在自然语言分析中,治理为什么不是事后合规检查,而是核心基础设施?
因为AI代理需要代替分析师做出一系列决策,如选择表、连接、指标定义以及用户可见的行列。治理必须引导代理的每个决策,而非事后应用。Unity Catalog提供细粒度访问控制、行过滤、列掩码、认证信号和弃用标志,确保代理只使用用户被允许看到的业务上下文。
在连续对话中,AI分析如何记住上下文并处理追问?
系统通过维护对话状态来保留上下文,包括表列元数据、代理编辑者的指令和先前对话轮次的信息。如果追问模糊,可以请求澄清。语义锚定提供跨轮次稳定的定义,对话管理选择相关上下文而非简单追加,避免上下文窗口过载和漂移。
如何将Genie集成到团队已有的应用和AI工具中?数据权限如何保障?
可通过Genie Conversation API嵌入自有应用、聊天机器人或代理框架;也可通过Genie One MCP服务器在Claude、ChatGPT、Microsoft Copilot或Cursor中使用。权限方面,查询在SQL仓库运行,但Unity Catalog根据每个最终用户的权限决定可见数据,行过滤、列掩码和表级权限均按用户生效。推荐使用代表用户(OBO)OAuth认证,使外部助手以用户身份操作,自动应用其权限。