理解 Apache Iceberg 的 metadata.json 文件
内容提要
Apache Iceberg是一个数据湖表格格式，旨在解决大规模数据湖的问题，将其转变为数据仓库。它允许模式演化、时间旅行查询和高效的数据分区，与现有数据处理引擎兼容。metadata.json是核心组成部分，用于管理表格元数据。
延伸解读
元数据版本与表标识：兼容性与一致性的基石
metadata.json 中的 format-version 字段（1 或 2）决定了 Iceberg 表使用的格式版本。如果引擎遇到高于自身支持的版本，必须抛出异常，以避免数据损坏或误读。table-uuid 是表的唯一标识符，在表创建时生成，用于确保不同操作间元数据匹配。若刷新后 UUID 不匹配，则可能意味着冲突或损坏，引擎会抛出异常。这两个字段共同保障了跨引擎、跨操作的兼容性与数据一致性。
模式与分区演化：历史数据的可访问性保障
Iceberg 支持模式演化和分区演化。metadata.json 中的 schemas 列表记录所有历史模式，current-schema-id 指向当前模式。查询历史数据时，引擎可使用数据写入时的模式，确保结果准确。partition-specs 列表保存所有分区策略，default-spec-id 指定写入时默认使用的策略。分区演化后，旧数据仍按原策略组织，新数据按新策略写入，引擎通过分区裁剪优化查询。这种设计让表结构变更不影响历史数据访问。
快照与元数据日志：时间旅行与回滚的支撑
metadata.json 通过 snapshots 列表、current-snapshot-id 和 snapshot-log 管理表的历史状态。每个快照代表表在某个时间点的版本，支持时间旅行查询。snapshot-log 记录当前快照的变更历史，帮助理解表演进。metadata-log 则记录先前元数据文件的位置和时间戳，可用于审计、回滚或追踪元数据变化。这些日志字段为数据一致性和故障恢复提供了基础。
引擎如何利用元数据：查询规划与并发控制
数据处理引擎利用 metadata.json 进行查询规划，例如通过 partition-specs 进行分区裁剪，减少扫描数据量；通过 current-schema-id 进行模式验证，确保写入使用正确模式。在并发写入时，last-sequence-number 和序列号属性支持乐观并发控制：写入前预测新序列号，提交时确认其仍为下一个序列号，若冲突则可重试。这些机制共同保障了分布式环境下的数据一致性与操作顺序性。
Q&A
Apache Iceberg 的 metadata.json 文件有什么作用？
metadata.json 文件作为 Iceberg 表的核心元数据管理工具，提供了模式定义、分区策略和快照历史等信息，确保数据一致性和完整性。
如何通过 metadata.json 实现模式演化？
metadata.json 跟踪表的模式变化，确保历史数据可访问，并允许在查询时使用数据写入时的模式，从而实现模式演化。
metadata.json 如何支持时间旅行查询？
metadata.json 记录表的快照信息，使得用户可以查询表在不同时间点的状态，从而支持时间旅行查询功能。
metadata.json 中的分区策略是如何定义的？
metadata.json 包含 partition-specs 字段，定义数据的分区方式，优化数据存储和查询性能。
metadata.json 如何确保数据的一致性和完整性？
metadata.json 提供清晰的元数据参考，确保所有表操作都能维护数据的一致性和完整性。
数据处理引擎如何利用 metadata.json 进行查询规划？
数据处理引擎使用 metadata.json 中的分区信息和模式验证来优化查询规划，确保高效的数据访问。
