2024数据与AI峰会：Databricks Unity Catalog的最新动态
内容提要
企业面临碎片化的数据和人工智能治理，阻碍了数据和人工智能的民主化。为了在这个时代取得成功，企业必须采用开放和统一的数据和人工智能治理方法。Databricks宣布了一些创新进展，进一步增强了这些能力。
延伸解读
开源Unity Catalog：打破供应商锁定
Databricks宣布开源Unity Catalog，并与AWS、微软Azure、谷歌云、Nvidia等多家厂商合作。开源版本0.1支持管理表、卷和AI工具，兼容Delta Lake、Iceberg、Parquet等多种格式，并实现了Iceberg REST Catalog API。现有Databricks客户无需更改，即可让外部客户端通过开放API访问数据，且无外部访问费用。这降低了企业被单一供应商锁定的风险，促进了生态系统的互操作性。
Lakehouse Monitoring：主动数据质量监控
Lakehouse Monitoring正式发布，提供自动化数据剖析和可视化仪表板，跟踪数据量、空值百分比、数值分布变化等关键指标，并能监控模型漂移和性能指标（如准确率、F1分数）。这帮助团队在业务受影响前发现数据质量问题，无需额外工具，简化了数据团队的工作流程。
ABAC与Unity Catalog Metrics：精细化治理与指标统一
基于属性的访问控制（ABAC）进入私有预览，通过规则和标签简化治理策略执行，支持策略构建器UI、SQL和API，并能与第三方治理工具集成。Unity Catalog Metrics则标准化关键业务指标，确保跨团队定义一致，可通过Databricks接口和第三方BI工具访问，提升数据可信度。两者共同增强了治理的灵活性和一致性。
Lakehouse Federation：跨平台统一治理
Lakehouse Federation即将正式发布，支持MySQL、PostgreSQL、Amazon Redshift、Snowflake等多种外部数据源，在Databricks内提供统一的数据管理、发现和治理体验。它扩展了行/列级访问控制、标签和血缘等安全功能，并增强了查询下推性能和OAuth支持。这使企业能够在不移动数据的情况下，实现跨平台的一致治理。
Q&A
Databricks Unity Catalog的主要功能是什么？
Databricks Unity Catalog提供统一的数据和人工智能治理，支持多种数据格式，确保数据的发现、安全和监控。
为什么企业需要采用统一的数据和人工智能治理方法？
统一的数据和人工智能治理方法可以解决数据碎片化问题，促进数据和人工智能的民主化，提升企业的决策能力。
Unity Catalog如何支持开放连接性？
Unity Catalog允许用户从任何工具、计算引擎或平台访问数据，创建一个可靠的数据源，无论其来源或格式如何。
什么是基于属性的访问控制（ABAC），它有什么优势？
基于属性的访问控制（ABAC）简化了治理政策的执行，允许根据资源的特定属性灵活管理访问权限，确保一致的治理。
Lakehouse Monitoring的功能是什么？
Lakehouse Monitoring提供数据质量的自动化分析和可视化仪表板，帮助团队监控数据趋势和异常，确保数据质量。
Unity Catalog Metrics如何帮助企业做出更好的业务决策？
Unity Catalog Metrics通过标准化关键业务指标，确保不同团队使用一致的数据定义，从而提高数据的可靠性和信任度。
