本文是湖仓引擎系列最后一篇,介绍存储抽象与访问层:定义Backend接口(Put/Get/Delete/Exists),实现本地文件系统与S3两种后端,并通过构造函数注入使引擎不依赖具体存储;元数据位置与数据位置相互独立,可分别存放于Postgres和S3,便于DuckDB、Spark、pandas等多引擎共享同一目录;提供CLI REPL,支持建表、插入、扫描、删除、时间旅行等命令;开放表格式由标准Parquet、SQL元数据和约定三部分组成。
本文介绍用Go构建小型湖仓引擎,模仿DuckLake架构:元数据存于Postgres,数据用Parquet。核心是八张元数据表,涵盖快照、表、列、数据文件、列统计、删除文件等。通过begin_snapshot和end_snapshot实现快照可见性与时间旅行。相比Iceberg的清单文件树,数据库方案让文件裁剪变成SQL查询,原子提交只需事务,但依赖运行中的数据库。
完成下面两步后,将自动完成登录并继续当前操作。