Debezium PostgreSQL连接器——故障模式与槽管理
内容提要
Debezium依赖PostgreSQL复制槽确保数据不丢失，但槽泄漏会导致WAL无限增长和磁盘耗尽。文章介绍了故障恢复方法、泄漏槽的检测（active=false、WAL保留超阈值）及清理策略，并讨论了Schema变更（增删列）的自动适配，建议使用JSONB或Schema Registry处理下游变化，最后列出了监控告警清单。
延伸解读
槽泄漏的运维风险
文章强调，删除Debezium连接器并不会自动删除PostgreSQL中的复制槽，导致槽泄漏。泄漏的槽会使WAL无限增长，最终可能填满磁盘，造成数据库停机。因此，运维中必须定期检查pg_replication_slots视图，关注active列和wal_retained大小，并设置告警。清理泄漏槽需手动执行pg_drop_replication_slot，且建议为槽命名时使用明确标识，避免默认名称带来的混淆。
故障恢复机制
Debezium依赖复制槽实现故障恢复：连接器宕机后，槽会保留WAL，重新注册相同slot.name的连接器即可从上次确认位置继续消费，确保数据不丢失。但这也意味着，如果连接器长时间离线，WAL会持续累积，占用大量存储。因此，监控中需关注consumer_lag和wal_retained指标，及时处理连接器故障，避免存储耗尽。
Schema演变的处理策略
Debezium对表结构变化（增删列、重命名）自动适配，无需重启连接器，但下游消费者需应对JSON结构变化。文章建议三种方案：使用JSONB等无模式列存储原始数据；采用Schema Registry管理版本兼容性；或在摄入时扁平化处理。这些策略能有效吸收源表结构变化，避免下游任务失败。
监控告警清单
生产环境需监控PostgreSQL侧和Kafka Connect侧。PostgreSQL侧重点检查复制槽状态（active、wal_retained、consumer_lag）、发布表和副本标识；Kafka Connect侧检查连接器状态和任务状态。告警项包括：槽非活跃超过5分钟、WAL保留超阈值、连接器状态FAILED、消费延迟增长等。这些指标能帮助快速定位问题，保障CDC管道稳定运行。
Q&A
Debezium PostgreSQL连接器如何保证数据不丢失？
Debezium依赖PostgreSQL的复制槽（replication slot）来保证数据不丢失。复制槽是服务器端的书签，它确保PostgreSQL不会在连接器消费WAL之前丢弃任何WAL段。即使连接器崩溃，只要复制槽存在，PostgreSQL就会保留从最后确认位置开始的WAL，连接器恢复后可以从中断处继续读取，不会丢失数据。
如何检测PostgreSQL复制槽是否泄漏？
可以通过查询pg_replication_slots视图来检测。如果某个槽的active列为false，且持续超过几分钟，或者wal_retained（pg_current_wal_lsn() - restart_lsn）超过阈值（如1GB），或者consumer_lag持续增长，都表明可能存在槽泄漏或连接器落后。
删除Debezium连接器后，复制槽会自动删除吗？
不会。通过Kafka Connect REST API删除连接器只会移除连接器进程，但不会删除PostgreSQL中的复制槽。这会导致槽泄漏，PostgreSQL会无限期保留WAL，可能填满磁盘。需要手动执行SELECT pg_drop_replication_slot('slot_name')来清理。
Debezium如何处理源表添加或删除列的情况？
Debezium会自动适配源表的schema变化，无需重启连接器。添加列时，新事件会包含该列（无值时可能为null）；删除列时，事件中不再包含该列。Debezium将当前行状态序列化为JSON并发送到Kafka，schema变化的影响完全由下游消费者处理。
下游消费者如何应对Debezium事件中schema的变化？
常见方法有三种：1) 将事件存储为JSON blob，使用无模式列类型（如PostgreSQL的JSONB、Snowflake的VARIANT、BigQuery的STRING），让JSON吸收变化；2) 使用Schema Registry（如Avro或Protobuf）跟踪schema版本并处理兼容性；3) 在摄入时使用ExtractNewRecordState展平事件，让sink连接器自动映射schema。
生产环境中Debezium需要监控哪些关键指标？
需要监控PostgreSQL侧的复制槽状态（active、wal_retained、consumer_lag）、发布表列表、副本标识；以及Kafka Connect侧的连接器状态、任务状态。告警条件包括：槽active=false超过5分钟、wal_retained超过阈值、连接器状态FAILED、消费者滞后增长、CDC主题无新消息等。
