本文介绍JanusGraph基于TinkerPop接口，将图数据存储于Cassandra等宽行后端，采用邻接表布局，边双写，事务非必然ACID，依赖后端一致性。对比Neo4j原生存储，JanusGraph牺牲局部性换取可扩展性，用vertex-centric索引应对超节点，适合已有宽表集群的场景。

本文介绍Excel数据透视表的核心功能与应用场景。它通过合并同类项、定义指标，将细节数据转化为宏观报告。常见用途包括：按区域或产品生成二维统计、自定义利润率等指标、按季度或收入区间分组、用切片器制作动态报表，以及快速合并单元格排版。文章以销售数据为例，演示操作步骤，帮助用户高效分析数据。

第四阶段引入了表、目录和CSV批量加载功能，支持定义模式、逐行添加数据并持久化存储。表由行组和附加状态组成，目录管理所有表的注册信息。CSV加载器将CSV列映射到表列并转换数据类型，为后续的查询执行引擎奠定基础。

Iceberg通过隐藏分区和分区演进解决了Hive的分区问题。隐藏分区允许用户在数据列上写谓词，系统自动裁剪分区，避免全表扫描。分区演进则允许在不重写历史数据的情况下修改分区方案，保留旧数据的同时新增分区规范。这些设计提高了数据管理的灵活性和效率。

在Iceberg中，数据文件不可变，删除行可通过写时复制（CoW）和读时合并（MoR）两种方式实现。CoW重写整个文件，写放大高；MoR则写删除标记，适合高频删除。V3引入删除向量（DV），提高了删除效率。选择CoW或MoR取决于删除频率和读写性能需求。实验表明，CoW在删除时重写大量数据，而MoR需定期合并以避免性能下降。

Apache Arrow 旨在解决不同系统间的数据内存表示问题，通过定义一种与语言无关的列式内存格式，实现零拷贝共享。其内存布局包括有效性位图和数据缓冲区，支持高效分析运算。C 数据接口允许在同一进程中无拷贝传递数据，而 IPC 和 Flight 则支持跨进程和网络传输。Arrow 与 Parquet 互补，前者优化内存计算，后者优化磁盘存储。

Iceberg通过四层不可变元数据树解决了对象存储中的目录管理问题。这四层分别存储表的状态、快照信息、manifest列表和数据文件，确保原子提交和快照隔离。查询时，Iceberg利用元数据快速定位数据文件，避免了传统方法中的高成本LIST操作，并支持高效的分区裁剪和文件裁剪，提升查询性能。

本文讨论了对象存储（如S3）与POSIX文件系统的关键差异，强调对象存储的强一致性、重命名操作的高成本及条件写的重要性。对象存储不支持原子重命名，导致重命名变为逐个复制和删除，增加了成本。此外，列出对象的代价随对象数量线性增长，影响数据处理效率。条件写（如If-None-Match）为原子提交提供了支点，解决了并发写入的问题。整体上，文章探讨了对象存储在数据湖架构中的局限性及其对表格式设计的影响。

本文讨论了对象存储中目录式分区表的缺陷，如并发写入导致的部分提交、查询规划成本高和缺乏快照隔离。为解决这些问题，开放表格式（如Iceberg、Delta、Hudi）提供了原子提交、快照隔离、文件级统计裁剪和schema演进等功能，确保数据一致性和高效查询。

本文探讨了数据湖与开放表格式的关系，分析了Hive表的局限性及其在对象存储中的应用问题。Hive表依赖目录重命名，缺乏原子提交，导致部分提交和并发写入问题。开放表格式（如Iceberg、Delta、Hudi）通过将表拆分为不可变数据文件、可变元数据和原子切换的catalog指针，解决了这些问题，实现了在对象存储上支持ACID和时间旅行的能力。

本章探讨了Parquet格式的编码与压缩机制，强调编码降熵与通用压缩的两层结构。实测结果显示，低基数列适合字典编码，近似等差整数列使用差分编码效果最佳，而高熵随机数据则难以压缩。总结了编码与压缩的选择原则，强调匹配数据模式的重要性。

ORC和Parquet是两种列式存储格式，分别源自Hive和Twitter/Cloudera。ORC适合Hive事务表，支持ACID，且在整数和时间戳数据上压缩效果好。Parquet是跨引擎的通用格式，广泛应用于AI和数据分析工具。选择时需考虑具体应用场景和数据特性。

本文探讨了Parquet文件的结构与性能优化，包括数据的物理切分（行组、列块、页面）、元数据存储方式，以及通过裁剪元数据（如列索引、偏移索引、布隆过滤器）提高查询效率。Parquet采用“先写数据、后写元数据”的设计，文件尾部包含所有统计信息，支持高效的谓词下推和投影下推，显著减少读取数据的IO量。

本文讨论了ClickHouse的监控与健康检查，强调了system表的重要性。建议监控system.parts、system.merges和system.replicas，以确保数据存储和查询的健康。提供了监控分层结构和常用查询示例，帮助识别潜在问题，如parts过多、merge堵塞和副本延迟，并提到与Prometheus集成的监控方法，以确保系统性能符合SLA要求。