【数据湖与开放表格式】列式编码与压缩
内容提要
本章探讨了Parquet格式的编码与压缩机制，强调编码降熵与通用压缩的两层结构。实测结果显示，低基数列适合字典编码，近似等差整数列使用差分编码效果最佳，而高熵随机数据则难以压缩。总结了编码与压缩的选择原则，强调匹配数据模式的重要性。
关键要点
-
本章探讨Parquet格式的编码与压缩机制，强调编码降熵与通用压缩的两层结构。
-
低基数列适合字典编码，近似等差整数列使用差分编码效果最佳，而高熵随机数据则难以压缩。
-
编码与压缩的选择原则强调匹配数据模式的重要性。
-
Parquet通过专用编码先降熵，再进行通用压缩，形成两层模型。
-
字典编码是低基数列的有效压缩方式，但当distinct值过多时可能导致字典膨胀。
-
RLE/bit-packing混合编码用于布尔列和字典编码的下标，能够有效压缩重复值。
-
差分编码对单调或邻近值差小的整数列有效，能够显著减少存储空间。
-
BYTE_STREAM_SPLIT用于浮点数的重排，使其更适合通用压缩器处理。
-
通用压缩器如zstd、snappy等在编码后进一步压缩字节流，提升存储效率。
-
实验结果表明，编码必须匹配数据模式，类型感知编码常胜过纯压缩。
延伸解读
编码与压缩的选择原则
在选择编码和压缩方式时，必须考虑数据的特性。低基数列适合使用字典编码，而近似等差的整数列则应选择差分编码。高熵随机数据则难以压缩，使用不当可能导致存储空间的浪费。匹配数据模式是实现高效压缩的关键。
字典编码的局限性
字典编码在低基数列中表现优异，但当distinct值过多时，字典可能会膨胀，导致压缩效果适得其反。因此，在处理高基数列时，需谨慎选择编码方式，避免不必要的存储开销。
通用压缩器的选择
不同的通用压缩器在性能和压缩比上存在差异。zstd提供高压缩比和快速解压，而snappy和lz4则更注重速度。选择合适的压缩器应根据具体的应用场景和性能需求来决定，尤其是在处理大数据时。
延伸问答
Parquet格式的编码与压缩机制是怎样的？
Parquet格式采用两层结构，首先通过专用编码降熵，然后再进行通用压缩。编码利用数据模式降低熵，压缩则对编码后的字节流进行字节级压缩。
低基数列适合使用什么编码方式？
低基数列适合使用字典编码，这种编码方式能够有效压缩重复值。
差分编码在什么情况下效果最佳？
差分编码对单调或邻近值差小的整数列效果最佳，能够显著减少存储空间。
高熵随机数据的压缩效果如何？
高熵随机数据难以压缩，通常无法显著减少存储空间。
BYTE_STREAM_SPLIT的作用是什么？
BYTE_STREAM_SPLIT用于浮点数的重排，使其更适合通用压缩器处理，能够提高压缩效果。
选择编码与压缩时需要考虑哪些原则？
选择编码与压缩时应匹配数据模式，类型感知编码通常优于纯压缩，且要考虑体积与读取耗时的平衡。
