阿尔瓦罗·埃雷拉:用 PostgreSQL 19 压缩表

阿尔瓦罗·埃雷拉:用 PostgreSQL 19 压缩表

💡 原文英文,约1600词,阅读约需6分钟。
📝

内容提要

PostgreSQL 19 新增 REPACK 功能,将 VACUUM FULL 与 CLUSTER 合并,并提供 CONCURRENTLY 选项。该功能源自 pg_squeeze:先复制表数据,再通过逻辑解码从 WAL 获取并重放期间的变更,仅在最后切换存储时短暂阻塞,避免长时间停机。开发中曾因命名争议和缺陷面临被回退,最终保留。作者感谢社区测试者,并计划在后续版本解决 MVCC 安全等限制。

🔎

延伸解读

REPACK 如何避免长时间停机

REPACK 的核心思路来自 pg_squeeze:先创建一张临时表并复制原表所有存活元组,复制期间应用仍可正常读写原表;复制完成后,通过逻辑解码从 WAL 中获取期间的变更并重放到临时表,最后再应用一轮增量变更并切换存储文件。只有最后切换阶段会短暂阻塞,因此大表整理不再意味着长时间停机。

命名背后的接口一致性考量

社区最初讨论的是 VACUUM FULL CONCURRENTLY,但 VACUUM FULL 长期被视为 VACUUM 的非并发版本,若再出现一个并发的 VACUUM FULL CONCURRENTLY,容易让用户困惑。最终选择 REPACK 这一名称,并把 VACUUM FULL 与 CLUSTER 合并到同一命令下。这一调整本身不增加新功能,但为后续加入 CONCURRENTLY 选项铺平了道路。

为控制复杂度而保留的限制

作者明确表示,为避免引入难以修复的缺陷,REPACK 在 PostgreSQL 19 中暂未处理 MVCC 安全、快照刷新以及最后阶段锁升级等复杂情况。这意味着部分使用场景下操作不够方便,用户运行期间需要保持警惕。相关限制计划在下一个版本解决,作者称 Antonin 已发布对应代码。

WAL 累积问题的专门处理

REPACK CONCURRENTLY 使用逻辑解码的方式与逻辑复制完全不同,开发中尤其需要避免 pg_repack、pg_squeeze 用户曾遇到的 WAL 全程累积问题。为此 Antonin 增加了后台工作进程,将解码出的相关变更写入磁盘上的独立 spill 区域,REPACK 重放时从该区域读取,从而让 WAL 无论 REPACK 运行多久都能正常回收。

❓

Q&A

PostgreSQL 19 的 REPACK 是什么?它和 VACUUM FULL 有什么关系?

REPACK 是 PostgreSQL 19 新增的功能,它将 VACUUM FULL 和 CLUSTER 合并为一个命令,并提供了 CONCURRENTLY 选项。它源自 pg_squeeze,旨在实现类似 VACUUM FULL 的空间回收效果,但避免长时间停机。

为什么需要 VACUUM FULL CONCURRENTLY?原来的 VACUUM FULL 有什么问题?

VACUUM FULL 通过创建新表并移动所有活元组来彻底回收空间,但整个过程需要阻塞对表的修改,否则修改会丢失。对于大表,这会导致应用长时间停机。因此需要一种并发版本,在复制数据期间允许应用继续操作,仅在最后切换存储时短暂阻塞。

REPACK CONCURRENTLY 是如何实现并发操作的?

REPACK CONCURRENTLY 借鉴了 pg_squeeze 的方法:先创建临时表并复制所有活元组,同时通过逻辑解码从 WAL 中捕获复制期间的变更,并应用到临时表。最后在切换存储时短暂阻塞,完成最终同步和交换。这样应用在大部分时间可以继续操作。

REPACK 在开发过程中遇到了哪些命名争议?为什么最终叫 REPACK?

最初提议命名为 VACUUM FULL CONCURRENTLY,但社区认为 VACUUM FULL 本身是非并发的,再加 CONCURRENTLY 会造成混淆。因此作者将 VACUUM FULL 和 CLUSTER 合并为 REPACK,以避免接口混乱,并为新选项铺路。

REPACK 在 PostgreSQL 19 中保留了哪些限制?为什么?

为了控制复杂度、避免引入难以修复的缺陷,REPACK 在初始版本中暂未实现 MVCC 安全、快照刷新以及最终阶段锁升级的复杂处理。这些限制使得某些场景下使用不便,用户需保持警惕。作者计划在后续版本中解决。

REPACK 功能是如何避免 WAL 堆积问题的?

REPACK 引入了一个后台工作进程,负责解码 WAL 并将相关变更写入磁盘上的独立溢出区域。这样 REPACK 重放时可以从该区域读取变更,而 WAL 可以正常回收,不受 REPACK 运行时长影响。

🏷️

标签

➡️

继续阅读