详解如何在数仓中搭建细粒度容灾应用
内容提要
本文介绍了云上环境双集群后台手动部署和使用细粒度容灾的步骤,包括容灾前准备、细粒度容灾操作和解除容灾。细粒度容灾满足核心分析型业务的连续性要求,降低容灾建设成本,轻量化架构易运维、易操作、易演练。
延伸解读
细粒度容灾的适用场景与限制
本文介绍的细粒度容灾基于GaussDB(DWS)列存表实现,适用于核心分析型业务。其优势包括主备集群双活、降低备集群资源需求、支持表级数据一致性。但需注意,该方案要求主备集群DN数满足整数倍关系,且备集群中灾备表只读,其他表可读写。此外,容灾配置需在沙箱外手动添加定时任务,且云上环境沙箱内无法启动crontab,需通过特定脚本和ssh方式实现。
容灾配置的关键参数与隔离措施
配置容灾时,需创建backupRestore.ini和sw_backupRestore.ini文件,其中关键参数包括备份/恢复周期、端口、目录等。为避免与物理细粒度备份冲突,需指定不同的metadata和media目录,并设置不同的备份端口。主备集群倒换配置文件只需颠倒主备参数即可。这些配置直接影响容灾任务的执行效率和稳定性,需根据业务场景调整。
容灾操作与监控要点
启动容灾需在主备集群沙箱外设置定时任务,分别执行备份和恢复脚本。通过show-progress工具可监控备份恢复进度,关注progress、currentStep、errorMsg等字段。结果验证包括数据一致性校验和性能验证,确保同步正确。解除容灾时,需先停止定时任务和备份恢复进程,再执行set-independent解除主备关系。操作过程中需注意沙箱逃逸防护,ssh前需添加特定脚本。
Q&A
GaussDB(DWS)细粒度容灾相比传统容灾方案有哪些优势?
细粒度容灾的优势包括:主集群和备集群双活(备集群除灾备表只读外,其余表可读写);主备集群只需满足DN整数倍关系,降低备集群建设资源;利用列存表数据和元数据分离的特点,通过元数据逻辑同步+数据物理同步,结合UDF增量抽取/回放接口,保障表级数据一致性;粒度可控,支持表级、schema级、库级容灾;支持表DDL和部分DCL元数据同步,达到切换可用。
搭建细粒度容灾前需要做哪些准备工作?
容灾前准备包括:1. 配置互信:确保ssh服务打开、端口不被防火墙关闭、网络畅通,将主备集群所有节点ip和hostname添加到authorized_keys和hosts文件中,并执行ssh-keyscan命令,最后校验互信。2. 配置容灾配置文件:创建容灾目录,创建backupRestore.ini和sw_backupRestore.ini文件,并配置相关参数。3. 主备集群准备:设置集群GUC参数,执行DisasterFineGrained.py脚本进行prepare。4. 容灾表数据准备:新建容灾表或将存量表转为容灾表。
如何定义细粒度容灾的发布?
定义发布需登录主集群主节点沙箱,连接数据库,通过CREATE PUBLICATION语法指定需要容灾的主表,例如:CREATE PUBLICATION _pub_for_fine_dr FOR ALL TABLES; 或 FOR ALL TABLES IN SCHEMA schema1, schema2; 或 FOR ALL TABLES IN SCHEMA schema1, TABLE schema2.table_1; 也可用ALTER PUBLICATION增加发布表或schema。然后将容灾publication以dbname.pubname形式写入pub.list文件,例如:echo 'dbname._pub_for_fine_dr' > /DWS/data2/finedisaster/pub.list。
如何启动细粒度容灾?
启动容灾需在主备集群沙箱外设置定时任务。主集群主节点沙箱外执行crontab -e,添加定时任务执行SyncDataToStby.py -t backup命令;备集群主节点沙箱外执行crontab -e,添加定时任务执行SyncDataToStby.py -t restore命令。注意云上集群沙箱内无法启动crontab任务,需在沙箱外手动添加,且ssh前需加上特定命令防止沙箱逃逸。启动后可通过ps ux | grep SyncDataToStby确认进程,并使用show-progress监控工具查看备份/恢复进度。
如何验证细粒度容灾的结果?
结果验证包括功能验证和性能验证。功能验证:同步前后进行数据一致性校验,对主表、备表数据进行checksum校验,检查是否同步正确(需排除由于接入业务导致的差异)。性能验证:通过show-progress监控工具查看最近一次备份、恢复耗时。
如何解除细粒度容灾?
解除容灾包括停止容灾和删除容灾。停止容灾:主备集群取消沙箱外的定时容灾任务(在crontab中注释掉),主集群Ruby用户登录主节点沙箱执行stop-backup命令,备集群Ruby用户登录主节点沙箱执行stop-restore命令。删除容灾:先停止容灾,然后Ruby用户登录主集群主节点沙箱执行set-independent命令,解除主备关系,恢复备集群的读写能力。