Delta Lake 通用格式 (UniForm) 现已正式发布，支持 Iceberg 兼容性
内容提要
Delta Lake UniForm是一个数据管理解决方案，简化了数据访问并支持多种开放表格格式。它允许用户写入一份数据副本，并使用支持Delta Lake、Apache Iceberg或Apache Hudi的任何引擎进行访问。Delta Lake UniForm通过消除数据重复，提供快速性能和成本节约。它还支持Liquid Clustering等高级功能，用于优化数据布局。该解决方案经过测试，已被证明与流行的Iceberg读取器客户端兼容。Delta Lake UniForm现已可用于生产工作负载。
延伸解读
UniForm 如何实现一份数据多引擎访问
Delta Lake UniForm 利用 Delta Lake、Iceberg 和 Hudi 都使用 Parquet 存储数据的共同点，在写入 Delta Lake 时额外生成 Iceberg 元数据，而 Parquet 文件只保留一份。这样，支持任一格式的引擎都能直接读取同一份数据，无需复制。这降低了存储成本，也避免了数据重复带来的管理复杂性。
性能与成本：基准测试结果
文章中的基准测试显示，使用 Databricks 将 Parquet 文件摄入 Delta Lake UniForm 比使用 Snowflake 摄入 Iceberg 快 6 倍，成本低 90%。在 Snowflake 中通过 Iceberg 目录集成读取 UniForm 表时，查询性能与 Snowflake 管理的 Iceberg 表相当，差异几乎为零。这意味着用户可以在不牺牲查询性能的前提下节省摄入成本。
与 Liquid Clustering 结合的优势
Liquid Clustering 是 Delta Lake 的一项智能数据管理技术，可动态优化数据布局。当与 UniForm 一起使用时，Liquid Clustering 对物理布局的优化会同时反映在 Delta Lake 和 Iceberg 元数据中，因此即使通过 Iceberg 或 Hudi 引擎读取，也能获得快速查询性能。由于 UniForm 只额外写入元数据，写入开销可以忽略不计。
生产可用性与客户案例
Delta Lake UniForm 现已正式发布（GA），可用于生产工作负载。在公开预览期间，它已与 Snowflake、BigQuery、Redshift 和 Athena 等流行 Iceberg 读取器客户端兼容。客户 M Science 表示，UniForm 提供了灵活性，只需写入一份数据即可被任何支持 Delta 或 Iceberg 的引擎查询，有助于降低成本和加速价值实现。
Q&A
Delta Lake UniForm的主要功能是什么？
Delta Lake UniForm简化了数据管理，支持多种开放表格格式，允许用户写入一份数据副本并通过不同引擎访问。
Delta Lake UniForm如何提高数据访问性能？
通过消除数据重复，Delta Lake UniForm提供快速性能，并支持Liquid Clustering等高级功能来优化数据布局。
Delta Lake UniForm与哪些数据引擎兼容？
Delta Lake UniForm与支持Delta Lake、Apache Iceberg和Apache Hudi的引擎兼容。
Liquid Clustering在Delta Lake UniForm中有什么作用？
Liquid Clustering是一种智能数据管理技术，动态聚类Delta表以满足分析需求，从而提高查询性能。
使用Delta Lake UniForm的主要好处是什么？
主要好处包括降低成本、加快价值实现时间以及提供更大的灵活性，避免数据重复。
Delta Lake UniForm的生产工作负载支持情况如何？
Delta Lake UniForm现已正式发布，准备好支持生产工作负载，并与多个流行的Iceberg读取器客户端兼容。
