【数据湖与开放表格式】表格式为什么存在
内容提要
本文讨论了对象存储中目录式分区表的缺陷，如并发写入导致的部分提交、查询规划成本高和缺乏快照隔离。为解决这些问题，开放表格式（如Iceberg、Delta、Hudi）提供了原子提交、快照隔离、文件级统计裁剪和schema演进等功能，确保数据一致性和高效查询。
关键要点
-
目录式分区表在对象存储上存在三个主要缺口：并发写竞争与部分提交、查询规划成本高、缺乏快照隔离。
-
并发写入可能导致部分提交，读者可能读取到不完整的数据，缺乏原子性。
-
查询规划依赖于列出目录中的文件，导致查询成本随文件数量线性增长，效率低下。
-
缺乏快照隔离使得读者看到的数据可能是不同版本的混合，无法保证一致性。
-
开放表格式（如Iceberg、Delta、Hudi）通过原子提交、快照隔离、文件级统计裁剪和schema演进等功能解决了这些问题。
-
表格式确保提交的原子性，读者在查询时绑定到一个稳定的快照，避免了数据不一致的问题。
-
表格式通过显式记录文件清单和文件级统计信息，提高了查询效率，减少了不必要的文件读取。
-
表格式提供了一个权威的元数据中心，支持schema和分区的演进，避免了重排数据的需求。
延伸解读
目录式分区表的缺陷
目录式分区表在对象存储中存在严重缺陷，包括并发写入导致的部分提交、查询规划成本高和缺乏快照隔离。这些问题使得数据一致性和查询效率受到影响，尤其在高并发场景下，可能导致读取到不完整或错误的数据。
开放表格式的优势
开放表格式（如Iceberg、Delta、Hudi）通过提供原子提交、快照隔离和文件级统计裁剪等功能，有效解决了目录式分区表的缺陷。这些特性确保了数据的一致性和查询的高效性，尤其在处理大规模数据时，能够显著提高性能。
并发写入的风险
在目录式分区表中，并发写入可能导致数据覆盖和部分提交的问题，造成数据不一致。相较之下，开放表格式通过原子提交机制，确保在写入过程中不会出现中间状态对读者可见，从而避免了数据混乱的风险。
延伸问答
目录式分区表在对象存储上存在哪些缺陷？
目录式分区表在对象存储上存在并发写竞争与部分提交、查询规划成本高和缺乏快照隔离等缺陷。
开放表格式如何解决目录式分区表的问题？
开放表格式通过原子提交、快照隔离、文件级统计裁剪和schema演进等功能，确保数据一致性和高效查询。
并发写入对目录式分区表有什么影响？
并发写入可能导致部分提交，读者可能读取到不完整的数据，缺乏原子性，造成数据不一致。
查询规划在目录式分区表中为何效率低下？
查询规划依赖于列出目录中的文件，导致查询成本随文件数量线性增长，效率低下。
缺乏快照隔离对数据一致性有什么影响？
缺乏快照隔离使得读者看到的数据可能是不同版本的混合，无法保证一致性。
开放表格式如何支持schema和分区的演进？
开放表格式通过权威的元数据中心支持schema和分区的演进，避免了重排数据的需求。
