Dimitri Fontaine:分布式主键

Dimitri Fontaine:分布式主键

💡 原文英文,约8700词,阅读约需32分钟。
📝

内容提要

文章比较了多区域并发写入时的五种主键方案。单机环境下随机UUID开销最大:检查点后每行写入487字节WAL,索引体积大27%;uuidv7()性能接近序列。复合键(region,id)便于按区域过滤,但被引用表会变大;单列键需额外索引。序列在备库提升后可能重复发号,时钟回拨也会使时间型bigint重复。建议:单区域写入用bigint identity;多区域且引用少用(region,id);引用多用uuidv7();需隐藏创建时间才用随机UUID;永远避免32位主键。

🔎

延伸解读

随机UUID的隐藏成本:WAL与索引膨胀

文章实测显示,随机UUID(gen_random_uuid())在检查点后每行写入487字节WAL,是uuidv7()的2.7倍;其索引体积大27%,且因随机插入导致页分裂,索引页填充率仅72%。若需按区域过滤而增加第二索引,WAL开销更升至每行954字节。这意味着高写入负载下,随机UUID会显著增加I/O与存储压力,仅当需要隐藏创建时间时才值得选用。

复合键的权衡:区域过滤便利 vs 引用表膨胀

复合主键(region, id)让发布端可直接用区域列过滤,无需额外索引,但每个引用该键的子表都需重复存储两列。实测中,子表行宽增加,且因对齐填充,复合键在堆和索引中占用与UUID相当(每行16字节)。若将bigint列声明在前,可节省7%空间。因此,复合键适合被少量表引用的场景;若引用表众多,单列键加第二索引或时间型bigint更经济。

故障切换与时钟回拨:序列与时间键的脆弱性

序列在备库提升后可能重复发号:实验中被切断3秒的备库提升后重复发放了约30万个已用号码,导致订阅端因主键冲突停止。时间型bigint依赖时钟,若新主库时钟落后,其生成的ID可能低于旧主库已发放的ID,甚至重复;uuidv7()虽不重复,但顺序会乱。时钟回拨2秒时,时间型bigint有约0.3%的事务因重复键失败。因此,多区域写入需同步时钟,并为序列配置同步备库和故障转移槽。

32位主键的陷阱与迁移风险

文章警告永远避免32位主键。serial或int identity列背后的序列宽度与列宽一致,达到21亿后报错清晰;但若单独创建序列(默认bigint)作为int列默认值,序列会继续增长而列先溢出,且失败插入仍消耗序列值。多区域下,每区域序列步长10会使可用行数骤减至2.14亿,约25天即达上限。后期加宽列需重写表并同步所有外键,且DDL不复制,订阅端需先加宽,否则可能数天后才因超限停止。

❓

Q&A

多区域同时写入时,为什么不能每个区域用自己的序列生成主键?

每个区域的序列独立发号,当两个区域同时插入时,可能生成相同的ID。在逻辑复制中,这些重复行到达订阅端时会因主键冲突被拒绝,导致复制中断。

随机UUID和uuidv7在PostgreSQL中作为主键的性能差异有多大?

在检查点后插入50万行时,随机UUID每行写487字节WAL,而uuidv7仅182字节;随机UUID的索引比uuidv7大27%,且索引页填充率更低(72% vs 90%),导致更多全页写入和缓存未命中。

复合主键(region, id)有什么优缺点?

优点:主键包含区域,便于按区域过滤发布,无需额外索引;缺点:引用它的表需要重复存储region和id两列,导致行和索引变大(每行多10-16字节),存储开销增加约3%-10%。

基于时间戳的bigint主键(如Snowflake)在时钟回拨或故障转移时有什么风险?

当时钟回拨数秒时,可能重复使用之前已发放的ID,导致插入失败;故障转移后若新主节点时钟落后,生成的ID可能低于旧主已发放的ID,造成ID重复或乱序。

在PostgreSQL中,32位主键(如serial)有什么隐患?

32位整数最大值为2,147,483,647,序列耗尽后插入会报错“integer out of range”。若序列是bigint而列是int,序列会继续增长但列无法存储,且失败插入仍消耗序列值,加速耗尽。

根据文章,如何选择适合分布式环境的主键?

单区域写入用bigint identity;多区域写入且引用表少用(region, id)复合键;引用表多用uuidv7()(需额外索引)或时间戳bigint(需处理时钟);需隐藏创建时间用随机UUID;永远避免32位主键。

🏷️

标签

➡️

继续阅读