Lakeflow Connect 提供全托管原生连接器,可将 SaaS、数据库和文件数据直接增量摄取为 Unity Catalog 中的受治理表,无需自建管道。它覆盖营销、CRM 和广告平台,解决 Customer 360 数据碎片化问题。EcoVadis、iManage 等客户借此快速接入 HubSpot、Salesforce 等数据,节省工程时间。广告连接器还输出已聚合的报表表,并支持 Ad-Genie 加速器实现可视化与对话式分析。
本文介绍Databricks AI/BI仪表板嵌入客户应用时的行级安全模式。通过单一权限表驱动访问控制,结合`__aibi_external_value`、Unity Catalog行过滤器和身份组同步,实现外部合作伙伴与内部团队共享同一仪表板但查看不同数据切片。后端签发令牌时设置查看者范围,查询以服务主体身份运行,视图按范围过滤,支持列掩码和默认拒绝,并扩展至直接SQL查询路径。
Databricks平台与Unity Catalog可配置以符合日本金融业FISC安全指南,支持身份管理、网络隔离、加密、数据访问和审计。通过集中治理、权限控制和数据血缘,实现职责分离等控制,并集成备份恢复。提供FISC映射矩阵,明确客户与供应商责任,支持模型治理和AI安全,助力金融机构合规。
本文介绍将传统数据仓库中的存储过程迁移至Databricks湖仓的方法。通过示例展示游标、临时表、事务等SQL脚本的翻译过程,保留原业务逻辑,无需重写为Python或Spark。迁移后由Unity Catalog管理,支持访问控制和血缘追踪,并发处理更高效,迁移时间可减少50-75%。
Genie Agents能将受治理的业务上下文转化为特定领域的AI代理,通过单一提示词创建,基于Unity Catalog中的结构化数据、文档和文件进行推理。代理质量取决于上下文质量,而非提示词。建议从单一聚焦用例开始,便于测试和基准评估,再逐步扩展知识源和工具,以提供可靠、可追踪的答案。
零售AI正从实验转向规模化应用,关键在于建立统一治理层,确保数据、模型和成本可控。零售商需平衡模型灵活性与治理,避免碎片化。Databricks提供Unity Catalog等工具,实现数据权限、模型选择和成本监控的统一管理,让AI安全赋能各业务场景,同时保持企业级控制。
加拿大一家大型铁路物流公司利用Databricks的Genie Code、Unity Catalog和自定义Agent Skills,将传统数据管道现代化流程自动化。通过YAML提示生成生产级代码,新表摄取时间从数天缩短至分钟,自动化率超90%。系统结合元数据驱动和确定性代码生成,确保一致性,并计划扩展至更多自动化场景。
Genie Agents在Databricks中整合结构化与非结构化数据,通过Unity Catalog实现治理。代理以用户身份运行,继承对象权限、ABAC、行过滤和列掩码,确保数据安全。身份自动同步,文档存于Volumes并受权限控制。示例显示不同区域经理查询同一问题,结果按权限过滤,确保治理不依赖模型层。
本文介绍Databricks Lakebase与Unity Catalog的FinOps解决方案,通过将Backstage运营数据与云账单数据直接连接,实现单查询成本归属分析。Lakebase隔离计算,支持秒级数据库分支,使临时分支成本可追踪。文章强调零ETL管道、统一治理及分支生命周期管理,展示技术融合如何简化成本与所有权查询,并指出未来需优化认证路径。
Databricks推出新的S3外部位置创建流程,简化连接Amazon S3与Unity Catalog的步骤。用户只需指定存储桶和访问级别,通过AWS IAM临时授权,即可自动配置资源,无需手动编写IAM策略或部署CloudFormation模板。此流程减少配置错误,遵循最小权限原则,支持LTAP架构,提升数据治理效率。
cellcentric公司历时四年,在Azure和Databricks上构建了基于Unity Catalog和Lakehouse Federation的数据中心,整合SAP、MES等系统,形成治理化的AI上下文层。该平台提供数据产品、MCP服务器和统一身份权限,支持人类和代理安全访问数据,并通过追踪和评估确保质量,加速了研发流程。
Databricks推出Domains和Discover页面的公开预览,由Unity Catalog驱动,旨在解决数据和AI资产查找难、质量参差的问题。Domains按业务结构组织资产,Discover提供内部市场界面,帮助用户和AI代理找到可信、相关的数据,减少错误使用,并增强代理的业务上下文理解。
Unity Catalog现已进入公共预览阶段,支持外部引擎访问管理的Delta表。企业可以在统一治理下灵活使用多种引擎,享受性能优化和成本节约。通过开放API,外部引擎如Starburst和DuckDB可直接与Unity Catalog集成,实现数据的创建、读取和写入。这提升了数据治理和跨引擎的互操作性,确保了数据访问的安全性和一致性。
本文介绍了Databricks Genie的应用,通过十个客户项目展示其在数据处理中的多样性。Genie Agents为业务用户提供自然语言查询界面,Genie Code帮助分析师快速构建数据管道和仪表板。多个团队利用Genie实现高效的数据治理和分析,提升工作效率。Unity Catalog确保数据访问的安全性和合规性,使不同角色的用户都能有效使用Genie。
Databricks推出的自动升级功能可以自动优化Unity Catalog管理的表,确保兼容性并应用最佳实践特性,如行跟踪。该功能通过观察表的访问情况和验证工作负载,在后台安全地应用特性,减少手动操作,提高表的速度、经济性和可靠性,未来将支持更多特性和表类型。
Unity Catalog在数据和AI治理方面推出了Unity AI Gateway,提供全面的治理解决方案,确保AI代理的行为受控、具备上下文和选择权。新功能包括角色基础访问控制、Glossary和Domains,帮助定义业务概念和组织数据。Unity Catalog支持跨云和区域的统一治理,提升数据安全性和灵活性,推动企业在AI时代的决策能力。
本文讨论了Databricks全球金融服务市场领导者Kim Hatton的职业经历及其对市场与技术交汇的看法。她指出,金融机构在扩展AI时面临的主要挑战是获取统一的客户视图,而Databricks的Unity Catalog能够打破数据孤岛,提供统一治理,帮助营销团队在合规的同时快速行动。此外,Databricks的文化鼓励创新与协作,提升员工的工作热情。
Databricks的Lakehouse Federation允许用户在不迁移数据的情况下,直接连接和管理多个数据源。通过Unity Catalog,用户可以安全地查询和分析分散的数据,获取实时洞察,提升AI和业务分析的效率。
Databricks推出了Kiro IDE,与其数据智能平台集成,支持AI辅助开发。通过Model Context Protocol (MCP),AI助手可实时访问工作区元数据,确保查询准确性。用户可选择两种连接方式,快速构建分析和工作流。同时,Databricks的Unity Catalog确保数据治理,避免权限问题,提升开发效率。
Unity Catalog推出跨引擎属性基础访问控制(ABAC)Beta版,允许企业在外部引擎上执行细粒度访问控制。用户只需在Unity Catalog中定义一次ABAC策略,便可在所有引擎上强制执行,确保数据安全性和灵活性。该功能通过Iceberg REST Catalog API实现,支持不同引擎间的统一治理。
完成下面两步后,将自动完成登录并继续当前操作。