湖仓——第五阶段：快照与时间旅行
内容提要
湖仓快照与时间旅行机制：每次增删改生成递增快照ID，记录表、列和数据文件状态，元数据行以可见区间标记生效与失效。查询时传入历史快照ID可回溯任意版本，实现一致性读取。快照表记录变更历史，支持审计与调试。
延伸解读
快照机制的核心优势
与传统数据库的临时MVCC视图不同，湖仓快照是持久化的已提交版本，可无限期查询。这解决了两个关键问题：一是能够回答“表昨天是什么样子”，二是保证长时间扫描在并发写入时看到一致的数据。Iceberg和Delta Lake分别通过清单列表和事务日志实现类似功能，而DuckLake用简单的SQL可见性过滤模式替代了复杂的外部文件管理。
可见性区间的实现细节
每个可变的元数据行都带有begin_snapshot和end_snapshot两列，形成半开区间[begin, end)。查询时只需判断begin_snapshot <= N且(end_snapshot IS NULL OR end_snapshot > N)。这种设计使得时间旅行只需改变传入的快照ID，所有下游元数据查询自动过滤出该时刻可见的文件、列和表。代码中的IsVisible函数直观体现了这一逻辑。
事务原子性与隔离性
DuckLake利用Postgres事务保证快照创建的原子性：在单个事务中写入数据文件、注册元数据、插入快照行和变更记录。读取时，扫描开始时刻的最新快照决定了可见数据，即使期间有写入者提交新快照，读取者仍看到旧快照，因为新文件带有更大的begin_snapshot，不满足可见性条件。这提供了快照隔离，避免了并发读写的不一致。
审计与调试支持
ducklake_snapshot_changes表记录每个快照对应的变更描述，如创建模式、插入数据、添加列等。结合ListSnapshots方法返回的完整版本历史，用户可以追溯任意时间点的操作，便于审计和调试。每次事务提交前调用RecordChange，确保变更日志与快照同步持久化，为数据治理提供了基础。
Q&A
湖仓中的快照是什么？它和传统数据库的快照有什么区别？
在湖仓中，快照是一个单调递增的整数ID，代表某一时刻所有表、列和数据文件的状态。每次增删改（INSERT、DELETE、ALTER TABLE）都会生成新快照，且不会覆盖旧数据。与传统数据库的临时MVCC视图不同，湖仓快照是持久化的已提交版本，存储在元数据中，可无限期查询。
湖仓如何实现时间旅行查询？
时间旅行通过向扫描管道传入历史快照ID来实现。查询时，将快照ID传递给元数据查询，利用可见性过滤条件（begin_snapshot <= N AND (end_snapshot IS NULL OR end_snapshot > N)）筛选出该快照时刻可见的数据文件和列。例如，ScanOptions中的SnapshotID字段设为历史快照ID，即可回溯到任意版本。
湖仓中元数据行的可见性范围是如何定义的？
每个可能变化的元数据行都有两个列：begin_snapshot（行生效的快照ID）和end_snapshot（行失效的快照ID，NULL表示仍活跃）。行在快照N可见的条件是：begin_snapshot <= N 且 (end_snapshot IS NULL 或 end_snapshot > N)。这是一个半开区间 [begin_snapshot, end_snapshot)。
湖仓中创建一个新快照的流程是怎样的？
每次变更遵循以下步骤：1. 开始Postgres事务；2. 执行操作（INSERT写Parquet文件并注册到ducklake_data_file，DELETE写删除文件并注册到ducklake_delete_file，ALTER更新ducklake_column行）；3. 读取当前最新快照获取下一个ID；4. 计算snapshot_id = latest_snapshot_id + 1；5. 插入新快照行到ducklake_snapshot；6. 插入审计记录到ducklake_snapshot_changes；7. 提交Postgres事务。Postgres事务保证原子性。
湖仓如何保证读取一致性？
当读取器开始扫描时，它会读取当时的最新快照。即使另一个写入器在扫描期间提交了新快照，读取器仍继续看到旧快照。这是因为每个元数据查询都包含快照过滤条件，新快照中的文件（begin_snapshot等于新快照ID）不满足begin_snapshot <= 旧快照ID，因此对读取器不可见。
湖仓中的快照表包含哪些字段？各有什么作用？
快照表（ducklake_snapshot）包含：snapshot_id（单调递增，最新快照代表当前状态）、snapshot_time（快照创建时间）、schema_version（模式变更时递增，数据变更不递增）、next_catalog_id（下一个可用的目录对象ID，用于无间隙分配）、next_file_id（下一个可用的数据/删除文件ID）。
湖仓中的快照变更表有什么用途？
快照变更表（ducklake_snapshot_changes）记录每个快照中发生的变更描述，例如创建模式、创建表、插入行、添加列、删除行等。每个事务在提交前调用txn.RecordChange(description)，提交时将这些记录刷新到变更表。该表用于审计追踪和调试。
