简单介绍Iceberg与数据湖屋由来
原文中文,约1700字,阅读约需4分钟。发表于: 。本文从数据存储格式的演变介绍了数据工程领域的大数据处理框架发展,从Hive到Iceberg、Delta Lake以及数据湖屋的发展过程: 数据如何存储(在文件和内存中) 开源文件格式(如Avro、Parquet、ORC和Arrow)能够高效存储和访问数据,并可从多种编程语言和工具进行读写操作。...
本文介绍了数据工程领域的大数据处理框架发展,包括Hive、Iceberg、Delta Lake和数据湖屋。Iceberg和Delta Lake是高级存储层,支持分区、模式演化、数据压缩、ACID事务等功能。数据湖屋结合了数据湖和执行SQL查询、运行批处理作业和设置数据治理方案等操作的能力。