宣布 Lakehouse Federation 的正式发布
内容提要
Lakehouse Federation在AWS、Azure和GCP上已经正式发布，允许组织在一个地方发现、查询和管理所有数据。该版本包括增强的稳定性、安全性和企业可用性。Lakehouse Federation解决了数据碎片化和执行缓慢等挑战。它使组织能够构建统一的数据视图，高效地查询和组合所有数据，并保护来自不同来源的数据。已有超过5000个Databricks客户正在使用Lakehouse Federation。MySQL、PostgreSQL、Amazon Redshift、Snowflake、Azure SQL Database、SQL Server和Azure Synapse连接器已经宣布正式发布。该版本包括了改进的性能、增强的稳定性、可观察性和新的安全选项。未来计划包括目录联合、新的连接器、高吞吐量数据仓库连接和Lakehouse Federation的共享。
延伸解读
企业采用现状
文章提到已有超过5000个Databricks客户使用Lakehouse Federation，这表明该功能在企业中已有一定规模的实践。德州游骑兵和Ebiquity的案例展示了其在统一数据资产、简化发现和访问管理方面的价值，为考虑类似方案的组织提供了参考。
正式版功能增强
正式版在性能、稳定性和安全性上有所提升。性能方面，扩大了表达式和运算符下推的覆盖范围，可降低查询延迟并加速物化视图创建。稳定性方面，联邦和推送框架更健壮，能处理故障而不影响工作负载。安全方面，新增了无密码认证、Azure AD/Entra ID和OAuth支持。
未来路线图
未来计划包括目录联合、新连接器、高吞吐量数据仓库连接和Delta Sharing集成。目录联合将支持Hive元存储和AWS Glue，目前处于私有预览。新连接器如Google BigQuery和Salesforce Data Cloud已进入公开预览，Oracle和Teradata即将预览。高吞吐量连接将利用批量API并行传输数据，提升查询速度。
Q&A
Lakehouse Federation的主要功能是什么？
Lakehouse Federation允许组织在一个地方发现、查询和管理所有数据，解决数据碎片化和执行缓慢的问题。
Lakehouse Federation如何提高数据查询的效率？
它通过单一引擎加速临时分析，支持跨多个平台的高级查询规划和缓存，确保最佳查询性能。
有哪些数据库连接器支持Lakehouse Federation？
支持的连接器包括MySQL、PostgreSQL、Amazon Redshift、Snowflake、Azure SQL Database、SQL Server和Azure Synapse。
Lakehouse Federation的安全性如何得到增强？
新版本引入了无密码认证选项、Azure AD支持和OAuth支持，确保数据访问的安全性。
未来Lakehouse Federation有哪些计划？
未来计划包括目录联合、新的连接器、高吞吐量数据仓库连接和Delta Sharing集成。
Lakehouse Federation如何帮助组织解决数据治理问题？
它提供统一的数据视图和权限模型，确保数据的合规性和治理，简化数据发现和访问管理。
