拥有8年工作经验，其中4年专注Rust，曾在美团、亚马逊、小米任职，现从事数据系统领域，如分布式计算、OLAP查询引擎等。活跃于开源社区，是Apache DataFusion committer。定居武汉，接受现场或远程办公，寻求data infra或AI infra职位，可通过邮箱联系。

该文章介绍OLAP数据库引擎的最终阶段，实现排序、并行执行、REPL和TCP服务器。排序操作符支持多键和NULL排序；并行执行采用morsel驱动，每个worker独立处理行组并合并局部聚合结果；REPL提供交互式SQL查询和元命令；TCP服务器支持远程连接。最终形成完整的列式数据库引擎，从SQL解析到查询结果全流程运行。

本文介绍OLAP查询规划器与优化器的实现，涵盖三个阶段：绑定器解析名称和类型、优化器通过谓词下推、常量折叠和投影下推提升效率、物理规划器将逻辑算子映射为可执行算子。以DuckDB为例，展示逻辑计划树构建及优化过程，最终减少数据处理量，提高查询性能。

本文介绍了OLAP数据库开发中SQL解析器的构建（第8阶段）。解析器通过词法分析器将SQL字符串拆分为标记，再用递归下降解析器生成抽象语法树（AST），支持SELECT、CREATE TABLE、INSERT和COPY语句。文章详细说明了标记类型、AST节点结构、运算符优先级处理及解析示例，为后续查询规划和优化做准备。

哈希连接是OLAP中的标准连接算法，通过构建较小表的哈希表并用较大表进行查找，复杂度为O(n + m)。该算法支持INNER和LEFT连接，NULL键不匹配。构建阶段扫描较小表并插入哈希表，探测阶段查找匹配行，LEFT连接保留未匹配的行，构建列为NULL。

第六阶段的哈希聚合实现了GROUP BY聚合，使用哈希表将组键映射到聚合状态。每个聚合函数遵循初始化、更新和最终化的生命周期，并正确处理NULL值。哈希聚合是第一个需要查看所有输入的阶段，以确保输出的准确性。

文章讨论了OLAP系统的执行引擎，重点在于向量化表达式及其查询处理。通过处理2048行数据，提升了CPU效率。介绍了顺序扫描、过滤和投影操作符的实现，利用区域映射优化数据读取，减少不必要的数据复制。整体流程通过操作符管道处理数据，提升查询性能。

本文探讨了分布式OLAP查询引擎的架构与执行模型，重点分析了Trino与Spark、DuckDB等引擎的对比。介绍了OLTP、OLAP与HTAP的优化目标，强调了交互式OLAP的特点及其应用。阐述了SQL解析、逻辑优化、物理执行及MPP调度的过程，并讨论了嵌入式与分布式的选择依据。最后提供了后续阅读路径与实验入口。

本文讨论了优化器在 SQL 查询中的重要性，特别是 Apache Calcite 和 Trino 的关系。Calcite 提供逻辑计划和优化规则，而 Trino 则采用自研规划器，借鉴 Calcite 的代数思想。文章还介绍了物理计划的执行约定、优化规则及其在 Trino 中的实现，强调了优化阶段的流水线和调试手段。

本文探讨了多表连接的优化策略，包括连接顺序、物理连接算子和分布式连接方法。重点分析了DuckDB和Trino的连接规划，比较了Hash Join和Merge Join的性能，并介绍了动态分区裁剪（DPP）和数据倾斜问题的解决方案。最后，总结了连接规划的关键要素和未来研究方向。

本文总结了数据平台的选型决策，提出了交互式联邦、批ETL、嵌入式分析和流批一体四条路径。通过能力对照表，分析了不同引擎的下推深度、并发模型和运维复杂度，强调了查询引擎的核心功能及其在数据平台栈中的重要性，并提供了针对不同需求的引擎选择建议。

CBO（基于成本的优化器）在OLAP引擎中通过基数估计和代价常量做出决策，影响连接算法和顺序。统计信息对优化至关重要，直接影响查询性能。Trino和DuckDB的统计机制不同，DuckDB通过内置估计提高计划准确性。统计过期会导致错误的连接顺序，因此需定期更新统计信息以优化查询。

本文探讨了Volcano模型在执行层的应用，重点分析了Trino与PostgreSQL的对比。核心内容包括通过pull语义驱动子算子、阻断pipeline的算子，以及Trino在Volcano框架下的批量化改造。文章还介绍了算子的接口、Pipeline与Pipeline Breaker的概念，以及PostgreSQL的执行机制，最后讨论了Volcano在OLAP中的局限性与演进。

本文总结了RocksDB的内核机制，探讨了存储引擎的选择决策树，包括OLTP、OLAP和湖仓等场景。RocksDB适合写密集型负载，适用于Flink、TiKV等嵌入式应用。文章对比了RocksDB与InnoDB、列存和湖仓的特点，指出各自的适用场景和优化方向，并提供了存储栈和数据平台的阅读地图，以帮助读者理解不同存储引擎的关系与应用。

第四阶段引入了表、目录和CSV批量加载功能，支持定义模式、逐行添加数据并持久化存储。表由行组和附加状态组成，目录管理所有表的注册信息。CSV加载器将CSV列映射到表列并转换数据类型，为后续的查询执行引擎奠定基础。

文章讨论了OLAP系统中的压缩技术，重点介绍了列存储的压缩方法。通过使用RLE、字典编码、位打包和增量编码等四种压缩编解码器，数据可以减少5-10倍。每种编码器根据数据类型自动选择，以实现最佳压缩效果，并介绍了压缩的实现细节和未来的开发计划。

第二阶段的OLAP专注于列式存储，设计了RowGroups和ColumnSegments结构，以优化数据的磁盘存储和读取。RowGroups将表水平分区，每组最多包含122,880行；ColumnSegments存储每列的数据，并附带最小/最大区间图。该模型支持按需读取列、跳过不匹配的行组，并独立压缩每个段，提升查询效率。

OLAP数据库与OLTP数据库的主要区别在于数据存储方式。OLAP使用列存储，以提高分析查询速度。DuckDB的基础结构包括向量和数据块，每个向量最多可存2048个值，并使用有效性位掩码跟踪NULL值。数据块是列向量的集合，支持高效的数据处理和过滤。