Mats Kindahl:构建表访问方法,第9部分:UNLOGGED 表与重启后存活
内容提要
本文讨论内存表访问方法 pg_memtable 的重启问题:MemTable 数据存于共享内存,重启即丢失,但目录仍记为永久表,导致错误。作者通过 ProcessUtility 钩子将 MemTable 强制创建为 UNLOGGED 表,并拒绝 ALTER TABLE SET LOGGED。重启后原 arena 句柄失效,需检测段是否存在,若不存在则重建空 arena 并更新 relfilenode,使表在重启后表现为正常空表,可正常查询、插入、删除和截断。
延伸解读
为什么 MemTable 必须标记为 UNLOGGED
MemTable 的数据只存在于共享内存,重启即丢失,且不写 WAL。但此前 pg_memtable 未使用 relation_set_new_filelocator 的 persistence 参数,导致普通 CREATE TABLE 在 pg_class 中被记为永久表(p)。这会让 Postgres 误以为数据受 WAL 保护,从而在逻辑复制、物理备库、pg_dump 等场景产生错误假设。作者通过 ProcessUtility 钩子在建表前将 MemTable 强制改为 UNLOGGED,使其在目录中正确反映
重启后 arena 句柄失效的连锁问题
MemTable 的 relfilenode 实际存储的是 DSM 段句柄,而非文件号。服务器重启会销毁所有 DSM 段,但 pg_class 中的句柄不会自动清除。此时查询会报“could not attach to arena”,更严重的是 DROP 或 TRUNCATE 会尝试释放不存在的段,在提交回调中触发错误并导致 PANIC。因此,表访问方法必须主动检测段是否存在,而不能依赖 Postgres 的恢复机制——因为 ResetUnloggedRelations 只处理文件系统上的 init 分支,对无文件
重建空 arena 的并发安全设计
作者在 memtable_attach_arena 中先通过 dsm_attach 判断段是否存在,若不存在则获取 ShareUpdateExclusiveLock 锁,再次检查后重建 arena,并将新句柄写回 relfilenode。锁确保同一时间只有一个后端重建,其他等待的后端在锁释放后从 relfilenode 读到新句柄并直接附加。重建过程复用 CREATE TABLE 的清理与终结函数,保证事务中止时新 arena 能被正确释放。这样重启后的表表现为正常空表,可查询、插入、删除和截断。
临时表场景与当前实现的限制
钩子对临时表不做修改,因为临时表本身已是 unlogged,且会话结束即释放 arena,适合 MemTable 无需持久化的特性。但当前实现创建表时会预留固定大小的 arena,若一个会话创建大量临时表,会占用大量共享内存。此外,MemTable 目前仍只能全表扫描来查找行,作者预告下一篇将解决行定位问题。读者需注意,这些改进仅针对重启存活与目录正确性,并未改变查询效率低下的现状。
Q&A
为什么 MemTable 在服务器重启后会出错?
因为 MemTable 的数据存储在共享内存中,重启会销毁所有 DSM 段,但 pg_class 中的 relfilenode 仍保留指向该段的句柄,且表被记录为永久表(relpersistence='p'),导致 Postgres 误以为表是持久的,访问时尝试附加到不存在的段而报错。
如何让 MemTable 自动创建为 UNLOGGED 表?
通过扩展 ProcessUtility 钩子,在 CREATE TABLE 执行前检查访问方法是否为 memtable,若是且表为永久表,则将解析树中的 relpersistence 改为 RELPERSISTENCE_UNLOGGED。若解析树是只读的(readOnlyTree 为 true),则先复制一份再修改。
为什么不允许对 MemTable 执行 ALTER TABLE SET LOGGED?
因为 MemTable 的数据不会写入 WAL,本质上就是 unlogged 表。如果允许改为 LOGGED,Postgres 会错误地认为表是持久的并依赖 WAL 恢复,导致数据不一致。因此钩子会直接报错拒绝该操作。
重启后 MemTable 的 arena 是如何重建的?
在 memtable_attach_arena 中,先检查 relfilenode 对应的 DSM 段是否存在;若不存在,则获取 ShareUpdateExclusiveLock 锁,再次检查后调用 memtable_recreate_arena 创建新 arena,并将新句柄写入 relfilenode。重建过程与 CREATE TABLE 类似,并注册事务中止时的清理回调。
重启后 MemTable 表的数据会保留吗?
不会。MemTable 的数据存储在共享内存中,任何重启(包括干净关闭和崩溃)都会销毁 arena,因此表在重启后变为空表。但表结构仍然存在,可以正常查询、插入、删除和截断。
如何检测 MemTable 的 arena 段是否还存在?
使用 dsm_find_mapping 检查段是否已映射,若未映射则调用 dsm_attach 尝试附加;若返回 NULL 则表示段不存在。注意仅用 dsm_find_mapping 不够,因为它只检查映射,不检查段是否存在。