Kimserey Lam’s website, Software Development blog posts, videos and tutorials
·
OLAP – 第二阶段列式存储
内容提要
第二阶段的OLAP专注于列式存储，设计了RowGroups和ColumnSegments结构，以优化数据的磁盘存储和读取。RowGroups将表水平分区，每组最多包含122,880行；ColumnSegments存储每列的数据，并附带最小/最大区间图。该模型支持按需读取列、跳过不匹配的行组，并独立压缩每个段，提升查询效率。
关键要点
-
第二阶段的OLAP专注于列式存储，设计了RowGroups和ColumnSegments结构。
-
RowGroups将表水平分区，每组最多包含122,880行。
-
ColumnSegments存储每列的数据，并附带最小/最大区间图。
-
该模型支持按需读取列，跳过不匹配的行组，并独立压缩每个段。
-
ZoneMap存储段值的最小/最大统计信息，类似于B树索引。
-
在反序列化时，仅解压查询所需的列，提升查询效率。
-
文件格式为每个表一个二进制文件，结构简单有效。
延伸解读
列式存储的优势
第二阶段的OLAP通过RowGroups和ColumnSegments结构实现了列式存储，显著提高了数据读取效率。用户可以按需读取特定列，避免了不必要的数据加载，这在处理大规模数据时尤为重要。
ZoneMap的作用
ZoneMap在此模型中充当了类似于B树索引的角色，通过存储每个段的最小和最大值，帮助快速判断是否需要解压数据。这种机制可以有效减少I/O操作，提升查询性能，尤其是在数据量庞大的情况下。
RowGroups的设计考量
RowGroups的设计考虑了性能与存储的平衡，最大行数设定为122,880行，既能保证ZoneMap的有效性，又不会导致过多的数据加载。这样的设计使得在查询时能够快速跳过不相关的数据组，提升整体效率。
延伸问答
OLAP第二阶段的主要结构是什么？
OLAP第二阶段主要设计了RowGroups和ColumnSegments结构。
RowGroups的作用是什么？
RowGroups将表水平分区，每组最多包含122,880行。
ColumnSegments如何存储数据？
ColumnSegments存储每列的数据，并附带最小/最大区间图。
ZoneMap在OLAP中有什么作用？
ZoneMap存储段值的最小/最大统计信息，类似于B树索引，用于优化查询。
OLAP第二阶段如何提升查询效率？
该模型支持按需读取列、跳过不匹配的行组，并独立压缩每个段，提升查询效率。
OLAP第二阶段的文件格式是怎样的？
文件格式为每个表一个二进制文件，结构简单有效，包括文件头和多个RowGroup及ColumnSegment。
