构建于对象存储之上,由缓存提供服务

构建于对象存储之上,由缓存提供服务

💡 原文英文,约700词,阅读约需3分钟。
📝

内容提要

Lakebase Postgres将数据存于对象存储,但查询几乎不直接读取对象存储。生产数据显示,超过99.99999%的页面读取由计算节点本地缓存和pageserver缓存命中,仅约每秒39次请求到达对象存储,且多为冷数据首次读取。该架构通过分层缓存和镜像层缩短WAL重放链,使对象存储不处于查询关键路径,从而兼顾对象存储的持久性与Postgres的低延迟。

🔎

延伸解读

缓存分层如何让对象存储远离查询关键路径

文章指出,Lakebase Postgres的读取按层级进行:计算节点本地缓存、pageserver缓存,最后才是对象存储。每个层级都会缓存从下层获取的数据,因此深层读取的成本只需支付一次。生产数据显示,超过99.99999%的页面读取由前两层命中,仅约每秒39次请求到达对象存储。这种设计使对象存储仅作为持久化后端,而不直接参与查询响应,从而在保留对象存储持久性的同时维持低延迟。

镜像层缩短WAL重放链,降低pageserver读取开销

pageserver将数据组织为镜像层和增量层。处理GetPage@LSN请求时,若页面直接来自镜像层,则无需重放WAL;若需应用多个增量,则重放链变长。文章强调,镜像层的作用是保持重放链较短,从而减少pageserver的读取工作量。实际数据表明,绝大多数到达pageserver的读取只需少量或零次增量应用,这解释了为何即使缓存未命中,读取仍能保持高效。

对象存储请求集中在冷数据首次读取

到达对象存储的约每秒39次请求具有共同特征:请求的是近期无人读取的数据。文章归纳为两种情况:冷数据首次读取,或数据尚未被任何缓存层预热。关键在于,只有首次读取需要支付对象存储的延迟成本,之后数据会进入最快缓存层,后续读取走本地路径。因此,对象存储不在活跃查询执行的关键路径上,其影响仅限于冷启动或首次访问场景。

❓

Q&A

Lakebase Postgres 把数据存在对象存储上,查询时会不会经常去读对象存储?

几乎不会。生产数据显示,超过 99.99999% 的页面读取由计算节点本地缓存和 pageserver 缓存命中,只有约每秒 39 次请求会到达对象存储,且这些请求大多是冷数据的首次读取。

Lakebase Postgres 的读取路径是怎样的?

读取按层级进行:首先查计算节点的本地缓存,未命中则查 pageserver,最后才访问对象存储。每一层都会缓存从下一层获取的数据,因此深层访问的成本只付一次,后续读取留在本地。

pageserver 如何组织数据来加速读取?

pageserver 将数据组织为两种层文件:镜像层和增量层。处理 GetPage@LSN 请求时,pageserver 会应用增量层中的变更。镜像层能保持重放链较短,减少需要应用的增量数量,从而降低读取工作量。

哪些情况下的读取会最终落到对象存储?

只有约每秒 39 次请求会到达对象存储,它们共同点是请求最近没人读过的数据。实践中几乎总是两种情况之一:冷数据首次读取,或需要读取尚未缓存的数据。而且只有首次读取需要付出这个成本,之后数据会被缓存到最快层级。

Lakebase 架构如何兼顾对象存储的持久性和 Postgres 的低延迟?

通过分层缓存设计,对象存储不处于查询关键路径:热数据保留在计算节点本地缓存和 pageserver 缓存中,对象存储只作为后端持久化层。同时镜像层缩短了 WAL 重放链,使 pageserver 读取更快。这样既获得了对象存储的持久性,又保持了 Postgres 的低延迟。

Lakebase Postgres 和传统 Postgres 在架构上有什么主要区别?

Lakebase Postgres 将计算和存储解耦,数据持久化在对象存储上,但通过计算节点本地缓存和 pageserver 缓存来服务绝大多数读取,对象存储几乎不直接响应查询。传统 Postgres 通常依赖本地或直连存储,读取路径不涉及对象存储。

🏷️

标签

➡️

继续阅读