内容提要
Hive Metastore (HMS) 和 AWS Glue 在 Unity Catalog 中的公共预览现已推出,用户可以无缝访问和管理存储在这两者中的数据,促进数据的集中治理和发现。Unity Catalog 提供细粒度访问控制、数据血缘和审计功能,支持企业在不迁移数据的情况下利用其先进特性。
关键要点
-
Hive Metastore (HMS) 和 AWS Glue 在 Unity Catalog 中的公共预览现已推出,用户可以无缝访问和管理存储在这两者中的数据。
-
Unity Catalog 提供细粒度访问控制、数据血缘和审计功能,支持企业在不迁移数据的情况下利用其先进特性。
-
HMS 是大数据系统中数据目录的早期标准,但不适合现代数据和 AI 工作负载的全面治理需求。
-
Unity Catalog 提供统一的开放治理解决方案,管理所有数据和 AI 资产,支持企业创建企业目录。
-
HMS 和 AWS Glue Federation 为嵌入 HMS 的组织提供显著好处,确保操作连续性,支持逐步升级到 Unity Catalog。
-
关键好处包括无缝集成、简化数据发现和全面治理。
-
Unity Catalog 现在包括 Hive Metastore 和 AWS Glue 的联邦连接器,作为 Unity Catalog 与外部元存储之间的翻译层。
-
通过这些连接器,可以将整个 HMS 目录或 AWS Glue 作为外部目录挂载到 Unity Catalog 中。
-
用户可以定义细粒度访问控制、查看数据血缘、执行审计,并使用 Databricks 引擎查询 HMS 或 AWS Glue 管理的表。
-
通过采用 Unity Catalog,用户可以解锁统一和开放的治理实施,覆盖整个数据和 AI 资产。
延伸问答
Hive Metastore 和 AWS Glue 联邦在 Unity Catalog 中的主要功能是什么?
Hive Metastore 和 AWS Glue 联邦允许用户无缝访问和管理存储在这两者中的数据,提供细粒度访问控制、数据血缘和审计功能。
Unity Catalog 如何改善数据治理?
Unity Catalog 提供统一的开放治理解决方案,支持细粒度访问控制、监控和审计,适用于所有数据和 AI 资产。
使用 Unity Catalog 的好处有哪些?
使用 Unity Catalog 的好处包括无缝集成、简化数据发现和全面治理,支持企业创建企业目录。
如何在 Unity Catalog 中使用 Hive Metastore 和 AWS Glue?
用户可以通过联邦连接器将整个 Hive Metastore 或 AWS Glue 目录挂载到 Unity Catalog 中,进行查询和管理。
Unity Catalog 的联邦连接器有什么作用?
联邦连接器作为 Unity Catalog 与外部元存储之间的翻译层,允许用户访问和管理外部数据目录。
为什么 Hive Metastore 不适合现代数据和 AI 工作负载?
Hive Metastore 提供的基础功能不满足现代数据和 AI 工作负载对全面治理的需求,包括细粒度访问控制和审计。