开放表格式详解：Iceberg vs. Delta vs. Hudi
内容提要
开放表格式（如Apache Iceberg、Delta Lake和Apache Hudi）为数据湖添加ACID事务、模式演进和时间旅行功能，将对象存储中的文件转化为可查询的表。三者各有侧重：Iceberg适合多引擎分析，Delta Lake适合Spark管道，Hudi适合高频更新。它们均基于Parquet文件，并通过元数据管理提升性能，支持并发写入和数据版本控制。选择时需考虑引擎兼容性，并建议进行概念验证。
延伸解读
选型关键：引擎兼容性优先于功能清单
文章强调，选择开放表格式时，引擎兼容性应优先于功能清单。Iceberg适合多引擎分析，Delta Lake适合Spark管道，Hudi适合高频更新。若格式与现有引擎缺乏成熟连接器，即使技术更优也会增加风险。建议先评估生产环境中的查询引擎，再进行概念验证。
维护是性能保障：压缩与快照过期
开放表格式虽提升查询性能，但需主动维护。文章指出，活跃写入的表会积累大量小文件和清单，导致元数据膨胀，侵蚀性能。建议定期压缩小文件、合并清单，并设置快照过期策略，同时根据查询需求调整保留窗口，避免过度清理破坏时间旅行能力。
并发控制与冲突缓解
三种格式均采用乐观并发控制，通过版本检查避免冲突。为减少写冲突，文章建议分区写入、批量提交、缩小合并范围。此外，目录提交支持多表事务，可让相关更新原子提交，降低竞争。监控提交失败率和小文件数量有助于提前发现元数据膨胀问题。
避免锁定：互操作性与目录可移植性
文章指出，开放表格式本身开源，不锁定引擎，但治理层可移植性需注意。Delta Lake UniForm允许单份数据以Iceberg格式读取，Unity Catalog可同时治理两种格式。选择格式时，应确认目录访问可移植，并确保有多个独立引擎实现，以降低锁定风险。
Q&A
什么是开放表格式？它解决了数据湖的哪些问题？
开放表格式是位于对象存储数据文件之上的元数据层，为数据湖添加ACID事务、模式演进和时间旅行等功能。它解决了传统数据湖中并发写入导致的数据损坏、更新删除需重写整个分区、无法确定表当前正确状态等问题。
Apache Iceberg、Delta Lake和Apache Hudi各自的主要特点和适用场景是什么？
Apache Iceberg适合多引擎分析，如Trino、Snowflake、Flink和Spark；Delta Lake适合Spark管道，支持多表事务和细粒度治理；Apache Hudi适合高频更新和流式数据，如CDC复制，其索引支持高效记录级更新。
开放表格式如何实现ACID事务？
开放表格式通过乐观并发控制实现ACID事务：写入者读取当前版本，准备更改，仅在没有其他写入者提交冲突更改时提交。如果检测到冲突，事务安全失败并重试或中止，确保表始终一致。
什么是时间旅行？开放表格式如何支持它？
时间旅行允许查询表在特定时间点或版本的状态。Iceberg通过快照历史实现，Delta Lake通过事务日志实现，Hudi通过时间线实现。每次写入都会创建新版本，保留历史版本供查询。
开放表格式如何提升查询性能？
开放表格式通过元数据管理提升性能：Iceberg使用manifest文件，Delta Lake使用事务日志，它们缓存Parquet文件统计信息，使查询引擎在扫描前跳过不相关的数据文件，实现两级数据跳过。
如何选择适合的开放表格式？
选择时需考虑现有查询引擎和工作负载：Iceberg适合多引擎分析，Delta Lake适合Spark管道，Hudi适合高频更新。建议进行概念验证，测试并发写入延迟、引擎原生支持、模式演进和时间旅行行为。
开放表格式之间能否互操作？
可以。Delta Lake UniForm允许Delta Lake数据以Iceberg格式原生读取，无需复制存储。Unity Catalog等目录可以同时管理两种格式，实现统一治理。
开放表格式的维护工作有哪些？
维护包括压缩小文件、合并manifest、设置保留窗口、定期运行vacuum或expire-snapshots，以及监控文件数量、提交失败率等指标。建议将维护任务编入运行手册，并在非高峰时段执行。
