Joshua Drake：Parquet与Iceberg概述
内容提要
Parquet是一种高效的列式二进制数据格式，比CSV更可靠，支持压缩和快速查询，被Spark、DuckDB等主流工具广泛支持。Apache Iceberg作为表格式管理Parquet文件集合，提供事务、模式演进和时间旅行功能。两者结合，可在低成本存储上实现数据仓库行为，适合数据超出单一系统时使用。
延伸解读
Parquet的列式存储优势
Parquet按列存储数据，并利用页脚中的统计信息跳过无关数据块，因此对聚合查询（如求和、计数）特别高效。相比CSV，Parquet文件通常可压缩至十分之一大小，且支持多种主流引擎（如Spark、DuckDB、Snowflake）直接读写，无需转换。这种格式适合大规模数据分析场景，但若数据量小且仅由单一系统使用，则可能无需引入。
Iceberg解决数据湖一致性问题
Iceberg作为表格式，通过元数据层记录每个时间点表包含的Parquet文件，从而在对象存储上提供事务、模式演进和时间旅行能力。这解决了多个文件管理时的并发写入和schema变更问题，使数据湖具备数据仓库的可靠性。Iceberg由Netflix开发，现已被多种引擎支持，但需注意其并非文件格式，而是管理文件集合的元数据层。
适用场景与注意事项
Parquet和Iceberg的组合适合数据超出单一系统或需要跨引擎共享的场景，可在低成本存储上实现数据仓库功能。但文章明确指出，若数据量小且仅由单一团队使用，则无需此方案。此外，Parquet文件不可变，更新需重写文件，而Iceberg的元数据管理可能增加运维复杂度，需权衡利弊。
Q&A
Parquet文件格式有什么优点？
Parquet是一种开源的列式二进制文件格式，相比CSV更可靠，支持压缩和快速查询，文件大小通常比CSV小10倍，并且能被Spark、DuckDB、pandas、Trino、Snowflake等主流工具读取。
Apache Iceberg是什么？它解决了什么问题？
Apache Iceberg是一种表格式，不是文件格式，它作为元数据层记录哪些Parquet文件组成表，提供事务、模式演进和时间旅行功能，解决了数据湖中文件管理混乱、并发写入冲突和schema变更困难的问题。
Parquet和Iceberg如何协同工作？
Parquet存储实际数据，Iceberg管理这些文件的元数据，两者结合可以在低成本对象存储上实现数据仓库的行为，如事务、历史查询和schema演进，同时保持数据可被多种工具访问。
什么时候应该使用Parquet和Iceberg？
当数据超出单一系统或引擎，需要跨平台共享和低成本存储时，应该使用Parquet和Iceberg。如果数据量小且仅由一个团队在Postgres中查询，则不需要。
Parquet文件为什么比CSV更可靠？
Parquet文件是二进制列式格式，包含schema和统计信息，不会出现CSV中常见的逗号混淆、日期解析不一致、编码问题或表头缺失等问题，因此更可靠。
Iceberg的时间旅行功能有什么用途？
时间旅行允许你查询表在过去某个时间点的状态，例如查询昨天的数据，这对于审计、回溯分析和错误修复非常有用。
