极道
·
简单介绍Iceberg与数据湖屋由来
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文介绍了数据工程领域的大数据处理框架发展，包括Hive、Iceberg、Delta Lake和数据湖屋。Iceberg和Delta Lake是高级存储层，支持分区、模式演化、数据压缩、ACID事务等功能。数据湖屋结合了数据湖和执行SQL查询、运行批处理作业和设置数据治理方案等操作的能力。
🎯
关键要点
-
文章介绍了数据工程领域的大数据处理框架发展，包括Hive、Iceberg、Delta Lake和数据湖屋。
-
开源文件格式（如Avro、Parquet、ORC和Arrow）能够高效存储和访问数据，但仅是数据堆栈的一层。
-
Hive、Iceberg和Delta Lake是高级存储层，支持管理大规模、演进的数据集。
-
Iceberg由Netflix开发，旨在克服Hive在性能和可扩展性方面的限制。
-
Delta Lake是Databricks开发并开源的，作为Iceberg的替代品。
-
Iceberg和Delta Lake都使用Parquet作为文件格式，并支持模式注册表或元存储。
-
Iceberg支持分区演进，允许改变表的分区方案而无需重写数据。
-
Iceberg和Delta Lake支持数据压缩、ACID事务、高效查询优化和时间旅行等功能。
-
数据湖以原始格式存储数据，数据仓库则结构化存储数据并支持SQL查询。
-
数据湖屋结合了数据湖与执行SQL查询、运行批处理作业和设置数据治理方案的能力。
-
数据湖屋利用可扩展存储作为数据位置，并优化查询引擎的运行速度。
-
数据仓库和数据湖屋之间的界限变得模糊，某些仓库开始支持开放数据格式如Iceberg。
➡️
