【数据湖与开放表格式】Lakehouse 全景：从 Hive 表到开放表格式
内容提要
本文探讨了数据湖与开放表格式的关系，分析了Hive表的局限性及其在对象存储中的应用问题。Hive表依赖目录重命名，缺乏原子提交，导致部分提交和并发写入问题。开放表格式（如Iceberg、Delta、Hudi）通过将表拆分为不可变数据文件、可变元数据和原子切换的catalog指针，解决了这些问题，实现了在对象存储上支持ACID和时间旅行的能力。
关键要点
-
数据湖与开放表格式的关系探讨，Hive表的局限性及其在对象存储中的应用问题。
-
Hive表依赖目录重命名，缺乏原子提交，导致部分提交和并发写入问题。
-
开放表格式（如Iceberg、Delta、Hudi）通过将表拆分为不可变数据文件、可变元数据和原子切换的catalog指针，解决了Hive表的问题。
-
开放表格式的设计使得在对象存储上支持ACID和时间旅行的能力成为可能。
-
Hive表的三个硬伤包括：没有原子提交、planning依赖LIST、schema与分区演进笨重。
-
开放表格式通过元数据预存文件清单与列级统计、field id与partition spec支持无重写演进，解决了Hive表的硬伤。
-
数据仓库、数据湖和湖仓的技术边界在于数据位置、schema管理和事务支持的不同。
-
湖仓的概念是在数据湖的开放存储之上，加一层有事务语义的元数据，使得对象存储上的文件也能支持ACID、更新和时间旅行。
延伸解读
Hive表的局限性
Hive表在对象存储上的应用存在明显局限，主要体现在缺乏原子提交和依赖目录重命名。这导致了部分提交和并发写入的问题，影响了数据的一致性和可靠性。理解这些局限性有助于更好地评估开放表格式的必要性和优势。
开放表格式的优势
开放表格式（如Iceberg、Delta、Hudi）通过将表拆分为不可变数据文件和可变元数据，解决了Hive表的多个硬伤。这种设计不仅支持ACID事务，还能实现时间旅行功能，极大提升了数据管理的灵活性和效率。
湖仓的技术边界
湖仓（lakehouse）结合了数据湖的开放存储和数据仓库的事务语义，提供了一种新的数据管理模式。了解湖仓与数据湖、数据仓库的区别，有助于企业在选择数据架构时做出更明智的决策，尤其是在处理半结构化数据时。
延伸问答
Hive表的主要局限性是什么？
Hive表的主要局限性包括没有原子提交、依赖目录重命名以及规划过程依赖LIST，导致性能和正确性问题。
开放表格式如何解决Hive表的问题？
开放表格式通过将表拆分为不可变数据文件、可变元数据和原子切换的catalog指针，解决了Hive表的原子提交和规划问题。
什么是湖仓（lakehouse）？
湖仓是指在数据湖的开放存储上加一层有事务语义的元数据，使得对象存储上的文件也能支持ACID、更新和时间旅行。
开放表格式与Hive表的设计有什么不同？
开放表格式强调不可变数据文件和可变元数据的分层设计，而Hive表则将表视为目录和元数据的组合，缺乏灵活性。
开放表格式支持哪些功能？
开放表格式支持ACID事务、时间旅行和无重写的schema演进，提升了数据管理的灵活性和可靠性。
数据湖、数据仓库和湖仓的技术边界是什么？
数据湖、数据仓库和湖仓在数据位置、schema管理和事务支持上存在不同的技术边界，湖仓结合了两者的优点。
