内容提要
Databricks推出智能代理Genie ZeroOps并进入公开测试,可自动检测、调查和修复数据管道问题。私测中处理超8万个真实问题,发现过半需企业特定知识才能解决。新功能包括共享收件箱、自定义业务指令、一键创建PR和通知管理。它基于Unity Catalog权限与元数据,在安全边界内分析日志、血缘和数据质量信号,提出修复方案,但未经人工批准不会改动生产代码或数据。
延伸解读
过半问题需企业专属知识,自定义指令成关键
在私测中,ZeroOps 处理了超过 8 万个真实问题,发现过半需要组织特定知识才能正确分诊和解决。这解释了为何 Databricks 新增自定义业务指令功能:团队可以注入公司特有的工作流和规则,让代理按内部标准判断问题。对于考虑采用的企业,这意味着前期需要梳理并沉淀这些知识,否则代理的修复建议可能不准确。
安全边界明确:代理只提议,不直接改动生产
ZeroOps 在 Unity Catalog 权限内运行,读取日志、血缘和元数据,但不会未经人工批准修改生产代码或数据。它调查故障后提出修复方案,并可推送到新分支创建 PR,由人审核。这种设计降低了自动化风险,适合对生产环境谨慎的团队。不过,这也意味着团队仍需保留人工审核环节,不能完全放手。
从告警到 PR 的自动化闭环,但依赖现有监控信号
ZeroOps 自动触发,无需提示,利用运行历史、Unity Catalog 血缘、Delta 历史和 Data Quality Monitoring 信号进行分析。它能检测表更新延迟或行数异常等静默故障。但这一切建立在已有监控数据之上,如果团队的数据质量监控不完善,代理的发现能力会受限。因此,启用前应确保相关信号已配置。
Q&A
Genie ZeroOps 是什么?它主要能做什么?
Genie ZeroOps 是 Databricks 推出的自主智能代理,可自动检测、调查并修复数据管道问题,例如上游模式变更或数据质量异常。它能在无需人工提示的情况下自动触发分析,并提出修复方案。
Genie ZeroOps 会自动修改生产代码或数据吗?
不会。ZeroOps 会调查故障、提出修复方案,并可将修复推送到新分支以创建拉取请求,但未经人工审核批准,绝不会更改生产代码或数据。
Genie ZeroOps 如何发现数据管道中的静默问题?
它利用数据质量监控来标记提交异常延迟(新鲜度)或行数低于预期范围(完整性)的表。一旦检测到问题,ZeroOps 会自动触发分析,无需人工提示。
Genie ZeroOps 在分析问题时能访问哪些数据?如何保证安全?
它可以读取运行日志、源代码、上游表元数据和样本,并内置访问运行历史、Unity Catalog 血缘、Delta 历史和数据质量监控信号。所有操作都遵循 Unity Catalog 权限,模型调用在 Databricks 安全边界内进行,且模型提供商不保留提示或响应。
在私测中,Genie ZeroOps 发现了数据管道维护的什么关键问题?
在私测中,ZeroOps 处理了超过 8 万个真实客户问题,发现超过一半的问题需要组织特定知识才能正确分类、排序和解决,凸显了自定义上下文的重要性。
Genie ZeroOps 新增了哪些功能来帮助数据团队更快处理问题?
新增功能包括:共享收件箱、自定义业务指令(可添加公司特定工作流)、一键创建拉取请求,以及通知管理(可过滤不需要的通知或将洞察标记为“非问题”)。
如何启用 Genie ZeroOps?
工作区管理员可以在工作区的预览页面中启用 ZeroOps 功能。启用后,在管道页面顶部会出现 ZeroOps 横幅。