内容提要
本文介绍了作者开发的用于测试Postgres压缩方法的脚本,并分享了测试结果。作者发现,对于大多数数据集来说,zstd应该成为默认的pg_dump压缩方法。文章还提到了其他压缩方法的性能和输出大小,并呼吁读者提供更多的Postgres开放数据集。
延伸解读
压缩方法选择需权衡速度与体积
作者将速度和输出大小同等重要,通过归一化求和得出评分。结果显示,zstd级别1在6个数据集上平均排名第一,级别5第二;gzip级别3和lz4级别1紧随其后。这意味着没有绝对最优,需根据实际场景取舍。若备份窗口紧张,lz4级别1最快但文件大50-100%;若存储敏感,zstd高级别压缩率最高但耗时剧增。
高压缩级别收益递减且可能反增体积
测试发现,zstd在高级别(如13、17、21)下压缩率最高,但耗时大幅增加,且在某些数据集上输出体积反而比低级别更大。作者称此现象“正常”。因此,盲目追求最高压缩级别并不可取,级别1-5已能提供最佳性价比。对于大多数数据集,zstd级别1或5是更务实的选择。
测试局限:未涵盖恢复时间与多核场景
本次测试仅评估了pg_dump的压缩速度和输出大小,未测试恢复时间,而恢复时间受硬件和Postgres配置影响较大。此外,测试为单核运行,未使用pg_dump的目录格式和多任务并行。若计划将pg_dump用于运维备份,需额外验证恢复性能。作者也提醒,pg_dump并非应对操作威胁的最佳备份方法。
Q&A
pg_dump 压缩方法中,zstd 和 lz4 哪个更快?
在低压缩级别下,lz4 是最快的选项,但输出文件较大(平均大 50-100%)。zstd 在低压缩级别(1-5)下速度也很快,且压缩率更高。
对于大多数 Postgres 数据集,pg_dump 应该使用哪种压缩方法?
zstd 应该成为大多数数据集的默认 pg_dump 压缩方法,尤其是在低压缩级别(1-5)下,它在速度和输出大小之间取得了最佳平衡。
gzip 级别 3 在 pg_dump 压缩测试中表现如何?
gzip 级别 3 在时间和大小上仍然表现良好,适合大多数数据集,在所有测试数据集中都处于顶级水平。
测试 pg_dump 压缩方法时,评估“好坏”的标准是什么?
评估标准是速度和输出大小的平衡。作者将每个测试运行的速度和输出大小分别归一化,然后相加得到一个分数(越低越好),完美分数为 2(即同时具有最小输出和最快执行)。
运行这个 pg_dump 压缩测试脚本需要多少磁盘空间和时间?
默认设置下,运行脚本需要约 7GB 的下载和 100GB 的磁盘空间,耗时约半天。如果存储空间不足,可以设置 DROP_DB_AFTER_TESTING=1 在测试后立即删除恢复的数据库。
pg_dump 是否适合作为主要的备份方法?
不,pg_dump 并不是应对操作威胁的最佳备份方法。它更适合用于逻辑备份或迁移,而不是作为主要的备份策略。