Snowflake把CDC推进Postgres内核实现自动复制
内容提要
Snowflake将CDC直接嵌入Postgres内核，通过推式架构和事务边界，将数据复制变为自动、稳定的机制。它利用扩展监控WAL日志，将变更打包为Parquet文件存入Iceberg，确保事务一致性和“恰好一次”处理，并通过实时视图解耦复制与查询延迟，简化运维，使复制可靠且无需人工干预。
延伸解读
推式架构为何更可靠
传统拉模式CDC依赖外部工具主动抽取WAL，但外部工具无法感知数据库内部状态，容易因表结构变更、网络波动等导致链路中断。Snowflake将CDC逻辑嵌入Postgres内核，直接监控WAL，以推式将变更打包为Parquet文件存入对象存储，利用对象存储的高可靠性简化链路，并记录LSN位置，使复制过程确定且可恢复，大幅降低运维负担。
事务边界保障一致性
推模式通过事务边界对齐，确保源端事务在目标端原子应用，实现“恰好一次”处理。传统CDC难以保证事务一致性，常需补偿逻辑。而Snowflake扩展在推送时保留事务提交顺序，目标端按批次在事务中应用，避免数据部分可见，保障外键约束和关联查询正确性，同时避免重复数据，提升性能。
实时视图解耦延迟
实时视图将变更日志与目标表动态合并，支持低频合并但查询仍能读到秒级数据。它利用Iceberg和Parquet的谓词下推，避免全表扫描，精准跳过已应用批次。这解耦了复制延迟与查询延迟，降低计算成本，增强系统鲁棒性，即使网络抖动也能保证查询实时性。
Q&A
Snowflake如何将CDC集成到Postgres内核中？
Snowflake开发了一个名为snowflake_cdc的Postgres扩展，将其嵌入数据库进程内部，直接监控WAL日志，从而捕获变更数据。
传统CDC复制采用拉模式存在哪些问题？
传统拉模式依赖外部工具从Postgres抽取变更日志，但外部工具无法感知数据库内部状态，导致复制链路脆弱、易中断，运维困难。
推式CDC如何保证数据复制的事务一致性？
推式CDC通过事务边界对齐，确保源端事务在目标端原子应用，实现“恰好一次”处理，避免数据不一致。
Snowflake的CDC扩展如何处理表结构变更？
扩展利用Postgres内部历史快照能力，在解码时准确处理表结构变更，确保数据一致性。
实时视图在Snowflake CDC中起什么作用？
实时视图将变更日志与目标表动态合并，解耦复制延迟与查询延迟，支持低频合并同时保证查询实时性。
推式架构如何简化运维？
推式架构通过将变更数据打包为Parquet文件存入Iceberg，利用对象存储的高可靠性，简化复制链路，故障恢复路径清晰，无需人工干预。
