Databricks
·
在Databricks中宣布全面支持Apache Iceberg™
内容提要
Databricks推出Apache Iceberg支持的公共预览，增强了Unity Catalog功能。用户可通过REST API读取和写入Managed Iceberg表，自动优化查询性能，并支持访问外部目录管理的Iceberg表，解决数据孤岛和格式不兼容问题。
关键要点
-
Databricks推出Apache Iceberg支持的公共预览，增强Unity Catalog功能。
-
用户可以通过REST API读取和写入Managed Iceberg表，自动优化查询性能。
-
支持访问外部目录管理的Iceberg表，解决数据孤岛和格式不兼容问题。
-
新数据孤岛出现在Lakehouse的开放表格式和数据目录两个基础组件上。
-
Unity Catalog通过开放标准打破格式孤岛，支持与外部引擎的兼容性。
-
Managed Iceberg表集成了Databricks平台的高级功能，如DBSQL和Mosaic AI。
-
Predictive Optimization自动优化表的读取性能和存储效率。
-
Unity Catalog允许在Iceberg生态系统中实现数据治理，即使在不支持授权的开源工具中。
-
与多个合作伙伴共同推出，支持多种工具和平台的集成。
延伸问答
Databricks的Apache Iceberg支持有什么新功能？
Databricks推出了公共预览，增强了Unity Catalog功能，允许用户通过REST API读取和写入Managed Iceberg表，并自动优化查询性能。
如何通过Unity Catalog访问外部Iceberg表？
Unity Catalog支持访问由外部目录管理的Iceberg表，如AWS Glue和Hive Metastores，允许用户打破数据孤岛。
Managed Iceberg表的优势是什么？
Managed Iceberg表集成了Databricks的高级功能，自动优化读取性能和存储效率，减少小文件带来的性能下降。
Unity Catalog如何解决数据孤岛问题？
Unity Catalog通过开放标准和目录联合，支持与多个外部引擎的兼容性，从而解决格式和目录的不兼容问题。
Predictive Optimization在Managed Iceberg表中起什么作用？
Predictive Optimization自动管理表的快照，删除未引用的文件，并使用Liquid Clustering优化数据，提升读取性能。
Databricks与哪些合作伙伴共同推出了Iceberg支持？
Databricks与多个合作伙伴共同推出，包括Atlan、Redpanda、Fivetran等，支持多种工具和平台的集成。
