在 Unity Catalog 中推出 Workday Data Connect 联合连接器

在 Unity Catalog 中推出 Workday Data Connect 联合连接器

💡 原文英文,约900词,阅读约需3分钟。
📝

内容提要

Databricks推出Workday Data Connect联合连接器Beta版,通过Unity Catalog实现零拷贝访问Workday人力资源与财务数据。用户可直接用Databricks SQL、AI/BI、Genie查询,无需复制数据,支持实时财务规划等场景。该连接器只读,由Unity Catalog统一治理权限与血缘,与Lakeflow Connect摄取连接器互补。

🔎

延伸解读

零拷贝访问的机制与优势

该连接器通过目录联合(Catalog Federation)实现零拷贝访问:Databricks 从 Workday 的 Iceberg REST 目录获取表元数据,然后直接读取 Workday 管理的对象存储中的数据,查询在 Databricks 计算上执行。这意味着数据无需复制到 Databricks,Workday Data Cloud 始终是 HR 和财务数据的记录系统。对于需要实时或最新数据的场景,这种方式能避免数据重复和延迟,同时降低存储成本。

与 Lakeflow Connect 摄取连接器的区别

Workday Data Connect 联合连接器是只读的,不摄取或复制数据,适用于对实时性要求高、无需历史快照的查询场景。而 Lakeflow Connect 摄取连接器则用于需要持久副本和历史跟踪(如 SCD2)的场景,例如历史报表。两者互补,用户可根据用例选择:联合连接器适合实时财务规划、即席查询;摄取连接器适合需要长期存储和变化追踪的分析。

治理与权限管理

Unity Catalog 对联合的 Workday 数据提供端到端治理。管理员可以设置目录、模式和表级别的权限,所有查询都受 Unity Catalog 管控。血缘和审计功能与其他 Unity Catalog 资产一致,确保 HR 和财务数据的访问可控且可追溯。这有助于在满足合规要求的同时,让团队安全地使用数据。

使用前提与限制

使用该连接器需要 Unity Catalog 启用的工作区,且 Databricks Runtime 版本为 19 或以上。由于目前处于 Beta 阶段,工作区管理员需从预览页面启用。连接器本身不摄取数据,且与 Lakeflow Connect 摄取连接器分开。此外,访问是只读的,不能通过该连接器修改 Workday 数据。

❓

Q&A

Workday Data Connect 联合连接器是什么?

Workday Data Connect 联合连接器是 Databricks 推出的 Beta 版 Lakehouse Federation 连接器,用于在 Unity Catalog 中零拷贝访问 Workday 的人力资源和财务数据。它允许 Databricks 直接查询 Workday 的共享 Iceberg 表,无需数据复制。

如何使用 Workday Data Connect 联合连接器查询 Workday 数据?

启用连接器后,Workday 数据会作为 Unity Catalog 的外部目录出现。授予适当权限后,团队可以使用 Databricks SQL、AI/BI、notebooks 和 Genie 直接查询 Workday 的 HR 和财务数据,无需复制数据。

Workday Data Connect 联合连接器有哪些主要优势?

主要优势包括:零拷贝访问,无需维护数据副本;Unity Catalog 端到端治理,统一权限和血缘;支持实时财务规划等场景;可与现有企业数据结合,加速分析和 AI 用例。

使用 Workday Data Connect 联合连接器需要什么前提条件?

需要启用 Unity Catalog 的工作区和 Databricks Runtime 19 或以上的计算资源。由于是 Beta 版,工作区管理员需从 Previews 页面启用。

Workday Data Connect 联合连接器与 Lakeflow Connect 摄取连接器有何区别?

联合连接器是零拷贝、只读的,直接查询 Workday 数据,不复制数据;而 Lakeflow Connect 摄取连接器用于将数据复制到 Databricks,支持历史跟踪(SCD2)。两者互补,可根据用例选择。

Workday Data Connect 联合连接器如何治理数据访问?

Unity Catalog 治理所有对联合 Workday 数据的查询。管理员可以设置目录、模式和表级别的权限,血缘和审计与其他 Unity Catalog 资产一样工作。

🏷️

标签

➡️

继续阅读