内容提要
Lakebase Postgres将数据存于对象存储,但查询几乎不直接读取对象存储。生产数据显示,超过99.99999%的页面读取由计算节点本地缓存和pageserver缓存命中,仅约每秒39次请求到达对象存储,且多为冷数据首次读取。该架构通过分层缓存和镜像层缩短WAL重放链,使对象存储不处于查询关键路径,从而兼顾对象存储的持久性与Postgres的低延迟。
延伸解读
缓存分层如何让对象存储远离查询关键路径
文章指出,Lakebase Postgres的读取按层级进行:计算节点本地缓存、pageserver缓存,最后才是对象存储。每个层级都会缓存从下层获取的数据,因此深层读取的成本只需支付一次。生产数据显示,超过99.99999%的页面读取由前两层命中,仅约每秒39次请求到达对象存储。这种设计使对象存储仅作为持久化后端,而不直接参与查询响应,从而在保留对象存储持久性的同时维持低延迟。
镜像层缩短WAL重放链,降低pageserver读取开销
pageserver将数据组织为镜像层和增量层。处理GetPage@LSN请求时,若页面直接来自镜像层,则无需重放WAL;若需应用多个增量,则重放链变长。文章强调,镜像层的作用是保持重放链较短,从而减少pageserver的读取工作量。实际数据表明,绝大多数到达pageserver的读取只需少量或零次增量应用,这解释了为何即使缓存未命中,读取仍能保持高效。
对象存储请求集中在冷数据首次读取
到达对象存储的约每秒39次请求具有共同特征:请求的是近期无人读取的数据。文章归纳为两种情况:冷数据首次读取,或数据尚未被任何缓存层预热。关键在于,只有首次读取需要支付对象存储的延迟成本,之后数据会进入最快缓存层,后续读取走本地路径。因此,对象存储不在活跃查询执行的关键路径上,其影响仅限于冷启动或首次访问场景。
Q&A
Lakebase Postgres 把数据存在对象存储上,查询时会不会经常去读对象存储?
几乎不会。生产数据显示,超过 99.99999% 的页面读取由计算节点本地缓存和 pageserver 缓存命中,只有约每秒 39 次请求会到达对象存储,且这些请求大多是冷数据的首次读取。
Lakebase Postgres 的读取路径是怎样的?
读取按层级进行:首先查计算节点的本地缓存,未命中则查 pageserver,最后才访问对象存储。每一层都会缓存从下一层获取的数据,因此深层访问的成本只付一次,后续读取留在本地。
pageserver 如何组织数据来加速读取?
pageserver 将数据组织为两种层文件:镜像层和增量层。处理 GetPage@LSN 请求时,pageserver 会应用增量层中的变更。镜像层能保持重放链较短,减少需要应用的增量数量,从而降低读取工作量。
哪些情况下的读取会最终落到对象存储?
只有约每秒 39 次请求会到达对象存储,它们共同点是请求最近没人读过的数据。实践中几乎总是两种情况之一:冷数据首次读取,或需要读取尚未缓存的数据。而且只有首次读取需要付出这个成本,之后数据会被缓存到最快层级。
Lakebase 架构如何兼顾对象存储的持久性和 Postgres 的低延迟?
通过分层缓存设计,对象存储不处于查询关键路径:热数据保留在计算节点本地缓存和 pageserver 缓存中,对象存储只作为后端持久化层。同时镜像层缩短了 WAL 重放链,使 pageserver 读取更快。这样既获得了对象存储的持久性,又保持了 Postgres 的低延迟。
Lakebase Postgres 和传统 Postgres 在架构上有什么主要区别?
Lakebase Postgres 将计算和存储解耦,数据持久化在对象存储上,但通过计算节点本地缓存和 pageserver 缓存来服务绝大多数读取,对象存储几乎不直接响应查询。传统 Postgres 通常依赖本地或直连存储,读取路径不涉及对象存储。