TiFlash通过Raft Learner角色接收TiKV日志，实现行存到列存的转换，保持物理隔离和强一致性。其存储引擎DeltaTree分为Delta和Stable两层，优化写入和读取性能。TiFlash的读路径通过ReadIndex确认复制进度，确保数据一致性。存算分离架构允许独立扩展存储和计算资源，提升查询效率。

本文讨论了列存引擎的核心内容，重点分析了ClickHouse和DuckDB的源码，包括列存文件布局、向量化执行、MergeTree机制及分布式协调，旨在帮助数据平台工程师和DBA理解列存的优化与应用。

本文探讨了ClickHouse的列存储引擎MergeTree的架构与优势，强调其在OLAP场景下的高效性。列存储通过减少IO、优化压缩和向量化计算，显著提升查询性能。与行存和LSM存储相比，ClickHouse在处理分析负载时表现优越，适合高并发和大数据量的场景。文章还介绍了MergeTree的不同变种及其应用场景，强调了其在数据分析中的重要性。

本文介绍了ClickHouse的MergeTree引擎及其数据单元Part的结构和功能。Part是不可变的目录，包含列文件和元数据，支持查询、合并和副本同步。文章详细阐述了Part的生命周期、目录结构、Granule和Mark的作用，以及如何通过设置优化性能。同时讨论了Wide与Compact格式的区别，以及Part的管理与维护。

本文讨论了ClickHouse的列存储压缩技术，包括专用编码（如Delta和Gorilla）与通用压缩（如LZ4和ZSTD）。不同数据类型适用不同的编码策略，压缩效果需通过实测来验证。建议根据数据特征选择合适的CODEC，以优化存储和查询性能。文章还提到与PostgreSQL的对比，以及在高并发环境下的插入策略和性能监控。

本文探讨了ClickHouse的列存储架构及其向量化执行机制，强调了批量处理的优势。介绍了Block和IProcessor的结构，分析了数据读取、过滤和聚合的过程，并与PostgreSQL的执行器进行了对比，指出ClickHouse在OLAP场景中的高效性和优化设置。

本文讨论了ClickHouse的MergeTree引擎的读路径，重点介绍了如何通过primary.idx和跳数索引来优化查询性能。强调了PREWHERE的使用及其在存储层优先执行的优势，以及并行读取策略。最后，提供了索引类型和优化建议，以提高查询效率。

本文讨论了ClickHouse中的MergeTree引擎，重点介绍了Part的合并和变更机制。合并通过将小Part归并为大Part来控制读放大，提升查询效率；变更则用于异步更新数据，但需谨慎使用以避免性能问题。文章还提到不同类型的MergeTree（如ReplacingMergeTree和CollapsingMergeTree）及其适用场景，强调了合并和变更的调度与管理。

ClickHouse 的主键是稀疏排序索引，结合二级跳数索引实现 granule 剪枝。主键需为 ORDER BY 前缀，合理选择排序键可优化索引体积和查询性能。跳数索引类型包括 minmax、set 和 bloom_filter，适用于不同查询场景。设计时应考虑高基数列的索引策略，以提升查询效率。

本文介绍了 ClickHouse 的 ReplicatedMergeTree 引擎及其与协调服务（如 ZooKeeper 和 ClickHouse Keeper）的关系。该引擎通过日志和副本机制实现数据一致性，支持多副本写入和同步。文章详细描述了副本架构、写入与同步过程、恢复机制及其与 Distributed 引擎的关系，强调了系统监控和运维的重要性。

本文讨论了ClickHouse的分布式表引擎，重点介绍了水平分片和跨节点查询的实现。内容包括分片键的选择、INSERT和SELECT的路由机制，以及与PostgreSQL Citus的区别。强调分布式表的主要作用是路由而非存储，并提供了DDL示例和集群配置细节，最后总结了最佳实践和常见反模式。

ClickHouse 的物化视图（MV）通过每次插入源表的块自动将变换后的数据写入目标表。MV 不存储数据，数据存储在指定的目标表中。创建 MV 时可以选择显式目标表或隐式内表，并支持历史数据回填。MV 的执行路径与资源隔离设计确保高效的数据流处理。选择合适的目标表引擎（如 MergeTree、SummingMergeTree 和 AggregatingMergeTree）至关重要，MV 适合与 Kafka 等流式数据源结合使用，支持高并发数据处理。

DuckDB 是一种嵌入式列向量化分析引擎，适用于单机分析和数据科学。其架构包括 Catalog、Optimizer、Execution 和 Storage，支持 SQL 查询，并能直接处理 Parquet 和 CSV 文件。DuckDB 更适合零运维的嵌入式分析场景，支持 ACID 事务，适合小规模数据分析。

DuckDB 采用向量批处理和 morsel-driven 并行执行模型，显著提升数据处理效率。在 OLAP 任务中，DuckDB 的表现优于 PostgreSQL 和 ClickHouse，支持动态任务调度和负载均衡。其物理算子通过管道化处理数据，优化哈希连接和聚合操作，优化器通过下推谓词和动态规划提升查询性能。

本文比较了DuckDB与ClickHouse在OLAP场景中的应用，指出两者适用场景不同。DuckDB适合嵌入式分析和小规模数据，而ClickHouse更适合大规模数据处理和多用户访问。通过决策树，用户可以根据需求选择合适的工具，结合使用可提高效率。

本文讨论了ClickHouse的监控与健康检查，强调了system表的重要性。建议监控system.parts、system.merges和system.replicas，以确保数据存储和查询的健康。提供了监控分层结构和常用查询示例，帮助识别潜在问题，如parts过多、merge堵塞和副本延迟，并提到与Prometheus集成的监控方法，以确保系统性能符合SLA要求。

本文探讨了ClickHouse中常见的列存生产事故，包括“Too many parts”、“Merge跟不上”、“Mutation堆积”、“副本延迟”和“OOM”等问题。针对每个问题，提供了触发条件、系统信号、缓解措施和预防建议，强调了配置和监控的重要性，以确保系统稳定运行。

本文讨论了ClickHouse的默认设置及其在中等批量OLAP中的应用，特别是与Kafka和ORM的插入方式。重点分析了MergeTree配置、内存与磁盘容量估算、监控及故障模式，并提供了配置层级、插入阈值、合并线程池等设置的详细说明，强调了SSD与HDD的策略差异。最后，提出了容量规划的工作流和配置审查清单，以优化性能和资源使用。

本文探讨了ClickHouse与DuckDB的列存引擎，分析了列存文件格式、查询读取路径、MergeTree合并机制及索引特性，旨在帮助数据平台工程师、DBA及嵌入式分析开发者理解列存技术及其在生产环境中的应用与挑战。

OpenGaussDB的Cstore列存引擎适合OLAP分析和AI训练数据存储，用户可通过实践学习开发AI服务Dify，掌握列式存储表的使用。该引擎在数据压缩和查询性能上优于行存储，适合大数据分析。DataVec向量数据库则提供高效的向量数据存储与检索，支持智能应用场景。