Ying’s Blog
·
大数据列存储文件格式
原文中文，约9400字，阅读约需23分钟。
📝
内容提要
本文介绍了文件存储格式的设计和大数据为何偏爱列存储，列存储在IO效率、压缩技术、延迟物化和缓存性能方面具有优势。文章还介绍了Apache ORC和Apache Parquet的文件结构和代码示例，最后总结了ORC和Parquet的比较以及现代存储格式设计的局限性。
🎯
关键要点
-
文件存储格式设计影响数据在磁盘上的组织方式。
-
大数据偏爱列存储格式如Apache ORC和Apache Parquet，因其在IO效率、压缩技术、延迟物化和缓存性能方面的优势。
-
列存储的IO效率高，因为查询时通常只需读取少数几列。
-
列存储的优势包括块遍历、列特定压缩技术、延迟物化和缓存性能提升。
-
行存储可以模拟列存储的某些效果，但难以达到列存储的性能。
-
Apache ORC的文件结构包括Stripe、Row Data和Footer等，具有多级索引。
-
Apache Parquet的文件结构包括Row Group、Column Chunk和Page等。
-
ORC的压缩比高于Parquet，但Parquet与Spark结合更好。
-
现代存储格式设计存在局限性，无法覆盖所有SQL场景，Hybrid-Store是折衷方案。
🏷️
