Kaarel Moppel:一个公共安全提醒——大型 Postgres 实例青睐大页

Kaarel Moppel:一个公共安全提醒——大型 Postgres 实例青睐大页

💡 原文英文,约1100词,阅读约需4分钟。
📝

内容提要

大型 PostgreSQL 实例(shared_buffers≥32GB)若将 huge_pages 保留默认值 try,而操作系统未预留大页,Postgres 会静默使用 4KB 普通页,导致页表膨胀、TLB 未命中增多、内存访问开销上升。作者在 64 核、256GB 内存的电商 OLTP 库上启用并配置大页后,混合负载 TPS 提升约 12%,纯 pgbench 只读测试提升近 20%,页表占用相差约 200 倍。建议大内存实例显式配置大页,避免过度分配,并关闭透明大页和 NUMA。

🔎

延伸解读

默认值 try 的隐患:静默降级与页表膨胀

文章指出,当 shared_buffers 达到 32GB 以上时,huge_pages 保持默认的 try 而操作系统未预留大页,Postgres 会静默使用 4KB 普通页。这导致页表急剧膨胀,作者实测页表占用相差约 200 倍,最高达 20GB,相当于直接损失了同等容量的可用内存。同时 TLB 未命中增多,每个后端的内存访问开销上升。这种静默降级不会报错,容易被忽视,却持续消耗性能。

性能收益:混合负载约 12%,只读场景近 20%

作者在 64 核、256GB 内存的电商 OLTP 库上启用大页后,混合负载 TPS 提升约 12%;在 EC2 m7gd.metal 上的纯 pgbench 只读测试中,TPS 从 90 万提升到 110 万,接近 20%。作者强调,在完成常规快速优化(如检查点、自动清理、WAL 压缩、索引清理)后,不修改 schema 或应用代码就能再获得这样的提升已相当难得。不过作者也提醒实际效果因环境而异,建议自行验证。

配置大页时唯一要警惕的:过度分配

大页从普通内存中划出,成为内核仅供给 hugetlb 消费者的独立池,不能再用于常规页缓存。因此计算必须谨慎,避免过度分配。作者建议在 PostgreSQL 启动后检查 /proc/meminfo 中的 HugePages_Free,应接近 0(保留少量余量)。对于并行查询较多的负载,可考虑为 min_dynamic_shared_memory 额外预留一些大页,但作者未在本文 OLTP 场景中测试。此外,作者提醒同时关闭透明大页和 NUMA。

错误建议的来源:AI 与配置生成器偏保守

作者认为“保持 try 即可”的建议主要来自 AI 模型和过于宽松的在线配置生成器。他测试了几个工具:PGTune 会以小提示框提醒 shared_buffers 过大需处理;pgconfigurator 仍保留 try 但提供额外说明;mydba.dev 提及大页但缺乏视觉提示;pgconfig.org 则完全未提 huge_pages。作者指出,try 虽是安全默认值,但对 256GB 以上内存的新实例并不合适,此时启动报错反而可以接受。

❓

Q&A

PostgreSQL 的 huge_pages 参数默认值 try 有什么风险?

在大型内存实例(shared_buffers ≥ 32GB)上,如果 huge_pages 保持默认值 try,而操作系统没有预留大页,Postgres 会静默使用普通的 4KB 页,导致页表膨胀、TLB 未命中增多、内存访问开销上升,从而影响性能。

启用大页对 PostgreSQL 性能提升有多大?

在 64 核、256GB 内存的电商 OLTP 库上,启用并配置大页后,混合负载 TPS 提升约 12%,纯 pgbench 只读测试提升近 20%。页表占用相差约 200 倍,未配置大页时页表可达 20GB,相当于减少 20GB 可用内存。

如何正确配置 PostgreSQL 的大页以避免过度分配?

配置大页时需仔细计算,避免过度分配。大页是从普通内存中划出的独立池,不能用于常规页缓存。PostgreSQL 启动后,应检查 /proc/meminfo 中的 HugePages_Free 接近 0(保留少量余量)。对于并行查询多的负载,可考虑为 min_dynamic_shared_memory 额外预留大页。

为什么 AI 模型和配置生成器常建议将 huge_pages 设为 try?

文章指出,这种建议主要来自 AI 模型和过于宽松的在线配置生成器。它们认为 try 是安全默认值,因为无论系统是否支持大页都能启动。但对于 256GB+ 内存的实例,这并非好建议;在新实例设置时,应显式配置大页,即使启动时报错也是可接受的。

除了大页,还有哪些相关系统配置需要调整?

文章建议在配置大页的同时,关闭透明大页(Transparent Huge Pages)和 NUMA。这些设置可能干扰大页的效果,关闭它们有助于获得更好的性能。

在哪些场景下大页带来的提升最明显?

大页对大型实例(shared_buffers ≥ 32GB)且具有大量并发会话的工作负载提升最明显,例如电商 OLTP 混合负载和纯只读基准测试。文章中的测试显示,混合负载 TPS 提升约 12%,只读负载提升近 20%。

🏷️

标签

➡️

继续阅读